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现 就 职 于 京东 ，“ 开 涛 的 博客 ”公众 号 作者 。 

写 过 《 跟 我 学 Spring》《 跟 我 学 Spring MVC) 
《 跟 我 学 Shiro 》《 跟 我 学 Nginx+Lua 开 发 》 

等 系列 教程 ， 博 客 现 有 1000 多 万 访问 量 。 
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本 书 忌 结 并 梳理 了 亿 级 流量 网 站 局 可 用 和 蜗 并 友 原 则 ， 通 过 实例 详细 介 
绍 了 如 何 落 地 这 些 原 则 。 本 书 分 为 四 部 分 : 概述 、 融 可 用 原则 、 局 并 友 
RW. SPIE, MAR. Bit. PEA. BS. RIN SB. HR 
ALi, MGW. Bere. HH. FE 3E. MASELE A mE 
SPER SAGAS DENA GU CAN LERE A SE BE RRE K Ek PUH VA 


* 管 是 软件 开发 人 员 还 是 运 维 人 员 ， 通 过 阅读 本 书 ， 都 能 系统 地 学 习 实 
现 亿 级 流量 网 站 的 关键 方法 与 技能 ， 并 收获 解决 系统 问题 的 思路 和 方 
ik. 
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T 
本 书 是 保证 大 规模 电 商 系统 在 高 流量 、 高 频次 的 冲击 下 仍 能 正常 运行 的 


过 “618”“ 双 112” 多 次 大 考 ， 在 实践 中 反复 论证 应 运 而 生 的 。 束 如 山野 
的 绿 草 历经 大 自然 千 锤 百 炼 、 风 两 彩虹 、 破 土 而 出 ， 在 自然 中 寻 得 的 法 
则 。 但 一 切 有 为 的 成 果 都 是 辛 勒 努 力 的 结果 ， 我 认识 开 涛 后 重要 的 印象 
之 一 了 驶 是 他 加 班 加 点 ， 挑 灯 夜 战 ， 几 乎 每 天 下 班 都 是 星辰 相伴 ;印象 之 
二 是 他 不 像 传 统 中 的 开 男 ， 而 是 一 个 热情 、 开 衣 、 有 爱心 的 阳光 男 ;， 印 
象 之 三 是 他 本 里 束 如 他 的 大 作 ， 是 一 个 博学 多 才 的 “字典 *"， 几 是 技术 性 
的 问题 大 家 都 找 他 请 教 ， 有 问 必 答 。 向 致力 于 顶级 电 商 系统 建设 的 研发 
人 员 强 烈 推荐 。 


人 徐 春 俊 京东 集团 副 总 裁 、 京 东 保险 业务 负责 人 


AANA SEINE, HUI CAU AIT UU Lae” HUE R3 SRB EX 
AKI ZRSDUNACECGE RE BIB EE Ae, ERK E AHE SE 2 
FF UG EROR: JUI EP] AR St TEER AK IDR Y TUE ZR TAL EE A it AR 
2j Hd RU BA eg n] HR ES AJR, HSE by TE PIECE ES H. 


DEA A ARS BE a dd. AR TRI BUT Ac VIS ZR A Da 


ETER, BARE ME AS IREME BASTA ZR ET FP BOS CAN GUT , 
SI X, BAR Go Ib n" bv Y Ms Ho Bl 
拉 术 的 转变 。 与 此 同时 ， 系 东 的 技术 人 在 拉 术 圈 内 的 影响 力也 在 不断 扩 
大 ， 开 讨 同 学 融 是 系 东 拉 术 的 一 个 好 代表 。 他 在 网 站 系统 升级 欠 代 的 过 
程 中 ， 不 断 创 新 和 使 用 新 技术 ， 并 将 多 年 的 实践 和 积 素 都 浓缩 到 了 本 书 
中 。 该 书 可 谓 是 当今 电 丙 互联 网 圈 内 的 民心 力作 ， 理 论 和 实践 的 完美 结 
A WAETH, BERRANAL AAR AN 
EFRR E. 


HE ARSE a. AAR XSL EB ae A 


"th WX UST FEER EN Bal Biles D. SR OI B I RZE 

AR, WAT, AT ee, ACR SACI. JR RAT AE TB 
fEJavalél "FAI iki, “Tho ee TU. ne DANA 
ARKE. ASPET ESE Se TE 1 n] A JESUS TE SU]. BEB 
ARISE MAI, LUAM BAAS, Bee SSE a 
合 的 结晶。 在 经 过 了 “京东 618”“ 双 112? 的 亿 级 大 考 后 ， 保 证 了 此 书 足 

以 作为 有 志 于 构建 亿 级 流量 网 站 的 拉 术 人 员 们 必 备 的 案 尖 参考 书 。 


DE 京东 保险 高 级 研发 总 监 


如 何 构建 融 并 肥 、 大 流量 的 系统 ， 不 是 染 构 师 团 门 千 车 想 出 来 的 ， 是 线 
上 实际 的 用 户 流 量 检 验 的 。 本 书 通 过 大 量 的 实践 杀 例 ， 告 诉 读者 如 何 染 
Minit, Avie wh Ret, ICAL, DARE SCAB SE 
RV, Pits, MAO ARAB o 


王 晓 钟 系 东 商 城 高 级 研 及 总 监 
本 书 内 容 翔 实 ， 将 专业 知识 讲解 得 通俗 易 履 ， 从 前 并 HTML 到 DB 的 层 


的 设计 无 不 精细 阐述 。 更 难能可贵 的 是 ， 用 真实 成 功 案例 传授 如 何在 实 
成 中 进行 大 流量 网 站 架构 ， 字 里 行 间 都 传递 着 作者 的 经 验 积累 ， 可 谓 字 


字 珠 矶 ， 是 初学 者 的 手册 ， 更 是 技术 大 牛 的 切磋 宝典 。 
HE 京东 商城 研发 总 监 


本 书 站 在 一 个 新 的 高 度 考虑 网 站 后 台 技术 ， 从 应 用 级 缓存 到 前 端 缓存 、 
从 SOA 到 闭环 等 无 处 不 体现 作者 的 深厚 功底 。 作 为 京东 大 嘿 的 作者 结合 
了 在 京东 的 最 佳 实践 ， 运 用 新 的 网 站 开发 理论 ， 提 出 了 一 套 非常 全 面 的 
大 流量 、 高 并 发 网 站 后 台 的 解决 方案 。 实 践 证 明 这 一 套 方案 特别 有 用 ， 
因为 他 结合 了 最 新 的 开发 技术 ， 简 化 了 开发 过 程 ， 比 较 全 面 地 考虑 到 了 
可 能 面临 的 问题 。 此 书 特别 适合 中 大 型 网 站 的 架构 师 、 开 发 工程 师 、 运 
维 等 人 员 ， 建 议 人 手 一 本 。 


杨 思 勇 京东 商城 研发 总 监 


首 匈 ， 这 和 是 一 个 非常 知 谐 的 技术 人 瑟 出 的 非常 徘 谱 的 作品 ， 本 书 作 者 是 
ARTA A, TAT EDTA BB, FRR ARON A EE 
UI. PHI. ASS Ee ARIK A EE RAR RTT KE d 
"XE. RR AA. RA RR MR AV ARN 
Ro REKREI SMa, ARERR A, 1A AP Ag 
构 师 、 开 友人 人 员 化 时 间 学 习 。 


EGE IR FALSE A A th 


BATE. mit, ERLE CIP RIN IR Eie 11 9 SR AC. FRB SR 
好 的 性 能 体验 ? 系统 底层 怎么 构建 、 资 源 怎么 调度 、 流 量 怎么 管控 .…… 
其 实 这 些 在 系统 设计 上 都 是 有 套路 的 ， 能 将 这 种 套路 讲 得 特别 清晰 、 总 
结 得 特 列 到 位 的 书 其 的 不 多 ， 此 书 非常 值得 大 家 一 读 。 


REESE RRE A E 


KPEENA S EIA rea AT FH ROS BU SAIS EMN, A 
实 的 案例 说 明 ， 对 从 业 人 员 有 很 强 的 指导 音义 。 作 者 开 涛 具备 多 年 珊 开 
肥 蜗 可 用 服务 经 验 ， 结 合 目 己 的 工作 实践 ， 将 啊 应 亿 级 请 求 的 商品 详情 
页 系统 的 设计 过 程 完整 展现 给 读者 ， 干 货 满 满 ， 在 同类 书籍 中 极为 少 
J, AAR GR Ta SE EC, RATES o 


王 春 明 “京东 商城 研发 总 监 


本 书 深入 浅 出 地 介绍 了 融 并 友 系 统 的 建设 之 路 ， 古 几 年 实战 经 验 的 沉 
演 ， 并 且 和 都 丝 过 了 系 东 大 促 下 大 流量 的 考验 。 不 官 是 初学 着 还 是 资深 的 
染 构 师 痢 能 从 中 获取 到 宇 贯 经 验 。 开 涯 是 拉 术 应 用 于 业务 、 理 论 应 用 于 
SREY AYN. AM hm, RAF mo 


HME RAR TE SE ai^ S EET JS AR Dr 


大 家 期 每 已 久 的 《 亿 级 流量 网 站 架构 核心 技术 》 终 于 出 版 了 了， 这 对 于 中 
国 互 联网 界 的 工程 师 们 来 说 真是 一 个 天 大 的 福利 。 该 书 可 谓 理论 和 实践 
结合 的 最 佳 典范 ， 看 眼 于 高 并 发 和 噩 可 用 ， 提 出 了 一 系列 作者 在 实战 中 
总 结 提 和 炬 出 来 的 设计 秘籍 ， 并 通过 和 守 例 对 每 一 条 秘籍 进行 详细 破解 ， 书 
中 提 及 的 每 一 个 案例 均 为 作者 在 工作 中 的 真实 案例 ， 都 经 历 过 大 促 亿 级 
流量 的 考验 ， 全 是 满 满 的 干货 。 该 书 作 者 开 涛 同学 热爱 撤 术 ， 乐 于 分 
孚 ， 我 拜 恋 了 他 所 有 的 博客 和 公众 号 文章 ， 受 益 诽 和 线 。 这 是 作者 又 一 次 
民心 出 品 ， 值得 研读 ， 强烈 推荐 。 


AH AR PAIS Er ACD WB AR Fd J 


MEHAR As EO AAS, EAR BB PLES Bl A FR LE ZOE 
平台 运行 的 系统 。 在 上 线 初 期 过 到 染 构 、 性 能 等 问题 ， 开 涛 以 其 扎实 的 
大 尘 量 网 站 架构 技术 功 压 ， 顺 利 保障 第 一 个 核心 系统 上 容 右 化 平台 。 这 
本 《 亿 级 流量 网 站 架构 核心 技术 》， 汇 集 了 开 涛 多 秆 在 京东 最 核心 的 网 
站 系统 架构 的 演进 和 实践 。 特 别 是 和 泵 东 业 务 快 速 增长 ， 对 网 站 流量 并 发 
千 来 的 挑战 ， 技 术 选 择 ， 染 构 变 单 ， 最 上 其 实践 音义 。 这 本 书 结合 实际 的 
案例 ， 和 生动 展现 了 技术 发 展 线 路 。 如 果 你 正在 应 对 流量 并 发 的 增加 或 者 
-e-o i EE ER ae TOO 
践 指导 。 


BAK OAR I A a ol BOP a oe 
随 看 用 尸 规 模 的 增长 ， 网 站 架构 问题 的 难度 也 在 成 倍增 加 。 构 建 一 个 大 


未 规模 的 亿 级 流量 网 站 和 构建 一 个 中 小 型 网 站 的 搁 术 染 构 难度 截然 不 
同 。 


在 具体 的 染 构 实践 中 ， 所 需要 考虑 的 问题 也 还 比 中 小 型 网 站 多 得 多 。 开 
送 根 据 在 和 泵 东 网 站 架构 工作 期 间 的 实战 经 验 瑟 成 此 书 。 书 中 既 有 大 型 网 
站 架构 的 通用 原则 ， 也 有 其 体 难点 的 解决 方案 和 实践 经 验 。 


最 重要 的 是 ， 忆 中 所 述 的 很 多 通用 原则 和 扩 术 方 守 都 在 系 东 网 站 线 上 得 
到 了 有 效 使 用 和 验证 。 对 于 想 深 入 了 解 如 何 构 建 一 个 大 型 网 站 的 读者 ， 
这 征 一 本 难得 的 好 书 。 


BREE S AUREAS SERE 


读 完了 开 涛 的 《 亿 级 流量 网 站 架构 核心 技术 》 原 稿 ， 我 激动 的 心情 难以 
平复 ， 这 正 是 我 一 直 希望 得 到 的 那 种 指导 手册 式 的 技术 书籍 。 书 中 没有 
浮夸 的 辞藻， 而 是 实 实在 在 地 展示 了 开 涛 多 年 来 在 实战 中 验证 过 的 理论 


与 经 验 。 


如 果 你 是 一 位 也 面临 着 高 访问 高 并 发 场景 的 研发 人 员 ， 那 么 相信 我 ， 这 
本 书 中 所 描述 的 思路 和 方法 ， 绝 对 值得 你 去 学 习 和 借鉴 

赵云 霄 ”京东 商城 ”API 网 关 负 责 
本 书 详细 介绍 了 大 流量 、 高 并 发 系统 的 设计 原则 和 具体 实现 方法 。 从 限 
流 降级 到 多 级 缓存 、 异 步 化 、 服 务 闭环 ， 对 最 近 几 年 在 高 并 发 领域 大 行 
其 道 的 Nginx+Lua 架 构 的 讲解 更 是 细致 入 微 。 感 谢 开 涛 为 大 家 带 来 这 本 
互联 网 高 并 发 架构 设计 的 百科 全 书 ， 

UU 京东 商城 交易 平台 架构 师 
作者 将 多 年 的 实践 经 验 和 研究 心得 呈现 在 这 本 书 中 ， 而 且 和 实践 很 好 地 
结合 起 来 ， 具 有 很 强 的 实践 指导 意义 。 从 各 个 角度 讲述 了 系统 设计 的 注 
意 点 与 优化 ， 一 层 一 层 从 前 到 后 ， 范 围 广 而 详细 。 干 劲 十 足 ， 强 烈 推 


O 


qu 


赵 辉 “京东 商城 交易 平台 架构 师 
开 涛 理论 与 实践 经 验 结合 ， 循 序 渐进 地 将 构建 亿 级 流量 网 站 的 高 并 发 、 
高 可 用 的 一 系列 复杂 问题 阐述 得 很 清楚 。 阅 读 此 书 受益 菲 浅 ， 希 望 每 一 
位 开发 人 员 都 能 阅读 到 这 本 书 。 

万 凤 凯 京东 商城 交易 平台 架构 师 
本 书 是 作者 在 京东 商品 详情 页 架构 升级 实战 等 多 个 项 目 中 总 结 的 成 果 ， 


已 经 成 功 经 历 了 多 次 “618”“ 双 112 大 促 流 量 的 考验 ， 实 战 出 真理 ， 选 
择 这 本 书 ， 靠 谐 。 作 为 技术 进 阶 优选 的 书籍 ， 满 满 的 干货 ， 备 好 水 ， 慢 


刘 唆 桦 “京东 商城 网 站 平台 架构 师 
Fr 

开 涛 勤奋 好 学 又 乐于 分 享 ， 他 很 早 就 深 读 了 不 少 开源 框架 源码 ， 吃 透 了 

内 核 技术 ， 又 非常 喜欢 看 技术 大 侠 们 的 分 享 ， 不 断 与 同行 交流 ， 并 学 以 

致 用 ， 一 开始 参加 工作 就 站 在 了 较 高 的 起 点 上 ， 所 以 往往 比 同龄 人 做 系 

统 更 加 有 信心 ， 成 果 更 加 突出 。 他 感恩 于 开源 和 分 享 ， 也 践 行 着 开源 分 


享 之 路 ， 每 次 埋头 探索 之 后 都 有 细心 总 结 ， 有 博客 时 写 博客 ， 有 微 信 公 
众 号 时 发 公众 号 ， 把 学 到 的 和 在 实践 中 总 结 出 来 的 ， 都 无 私 分 享 出 来 。 


网 站 古 百 接 面 对 广 大 客户 的 ， 古 公司 的 门户 ， 必 须眉 速 啊 应， 必须 持续 
可 用 ， 必 须 抗 得 住 洪峰 。 任 何 一 个 网 站 的 友 展 过 程 中 都 出 现 过 问题 ， 影 
赔 竹 尸体 验 和 商业 利 蔡 ， 公 司 业 务 规模 越 大 ， 网 站 出 现 问 题 的 损失 越 
大 。 作 者 进入 页 东 后 ， 伦 了 不 少 精 力 从 事 了 “水 不 消失 的 网 站 ”建设 工 
作 。 作 者 和 同事 一 起 ， 克 服 了 一 个 义 一 个 难题 ， 将 口号 变 成 了 现实 。 


本 书 蜗 屋 建 钥 ， 抓 住 了 大 型 融 并 友 网 站 设计 的 核心 ， 从 设计 原则 ， 到 融 
性 能 、 噩 硅 吐 量 、 电 可 用 的 系统 设计 ， 到 局 灵敏 的 监控 系统 构思 、 再 人 到 
MATRE, PRAT, LAWETA. AHE Hh G hR 
KE WARR Hise, ECS EI Sen, EREA, MA A AK 
目 于 实 成 ， 文 草 内 容 也 是 与 同道 和 网 友 们 互动 后 改进 的 ， 本 书 也 没有 那 
些 为 了 构建 一 个 “完整 的 体系 ”而 只 起 a 到 填充 作用 的 段落 。 此 书 特别 适合 
那些 快速 成 长 型 企业 网 站 的 建设 者 ， 互 联网 行业 的 研 友 人 员 ， 对 较 大 规 
模 网 站 的 重 构 也 有 信 鉴 意义 ， 看 这 本 书 可 以 少 走 些 过 路 ， 少 踩 些 志 ， 其 
中 的 证 多 素 上 略 和 技术 可 以 耳 接 拿 来 用 ， 从 而 节 管 时间。 作为 本 书 的 第 一 
批 读者 ， 友 现 这 本 书 的 内 容 组 织 上 阅 有 其 工具 书 的 特点 ， 没 有 严格 的 前 后 
依赖 ， 可 以 按 革 市 顺序 阅读 ， 也 可 以 随机 选取 中 间 的 一 革 。 文 中 公布 了 
作者 的 联络 方式 ， 有 问题 能 方便 地 交流 。 最 后 ， 硕 望 这 本 书 不 要 成 为 一 
个 网 站 淋 构 分 诗 的 终结 者 ， 布 户 有 更 多 同学 加 入 到 探 寺 和 分 至 的 队伍 中 
来 ， 不 汤 殉 服 新 的 挑战 ， 分 圣 更 多 新 成 来 。 


京东 商城 副 总 裁 、 京 东 Y 事 业 部 负责 人 于 永利 


厅 2 
我 们 的 互联 网 开 肥 者 都 曾经 有 过 这 样 的 经验 。 挫 建 一 个 设计 精 民 ， 功 能 
丰 亢 的 网 站 并 不 是 一 个 高 不 可 侈 的 事情 。 但 能 够 文 持 巨大 的 汽 量 而 运行 
目 如 束 个 十 一 件 容 易 的 事情 了。 可 是 ， 当 你 拥有 《 亿 级 流量 网 站 架构 核 
心 技术 》 这 本 书 时 ， 这 一 切 又 变 得 那么 轻松 。 


《 亿 级 流量 网 站 架构 核心 扩 术 》 一 书 详细 地 曾 述 了 开 及 高 并 及 高 可 用 网 
站 的 一 系列 关键 原则 问题 。 束 如 何 实现 系统 高 可 用 ， 流 量 高 并 及 进行 了 
深刻 训 析 。 本 书 例 举 了 大 量 的 真实 应 用 采 例 ， 帮 助 读者 深入 了 解 相 关 知 
识 ， 并 且 使 得 枯燥 的 说 教 变 得 生动 ， 活 泌 。 


本 书 作者 长 期 服务 于 京东 研发 的 第 一 线 ， 拥 有 丰富 的 软件 开发 经 验 。 杯 
持 看 对 撤 术 的 热爱 ， 为 互联 网 开 及 者 奉 献 目 己 的 心路 历程 。 和 希望 他 的 读 
者 能 够 从 这 本 书 中 受 雁 。 


京东 集团 首席 技术 顾问 | 
厅 3 
经 历 过 “ 双 11” 和 “618” 的 同学 都 知道 ， 在 大 促 时 如 何 保证 系统 的 高 并 
发 、 高 可 用 是 非常 重要 的 事情 。 因 此 在 备战 大 促 时 ， 有 些 通用 原则 和 经 
验 可 以 帮助 我 们 在 遇 到 高 并 发 时 ， 构 建 更 可 用 的 系统 ， 如 限 流 、 降 级 、 


水 平 扩展 和 隔离 解 炎 等 。 通 过 这 些 原 则 可 以 在 流量 超 预 期 时 ， 很 好 地 你 
PRS, We oS BLY At AY H o 
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务 挂 挥 时 所 有 依赖 服务 受 影响 每 。 这 些 都 是 在 开发 和 运 维系 统 中 很 常见 
的 问题 ， 只 要 开发 人 员 在 开发 系统 时 注意 下 这 些 点 就 可 以 很 好 地 避免 。 
书 中 的 高 可 用 部 分 可 以 很 好 地 帮助 读者 解 次 这 些 问 题 。 


也 经 名 有 人 讨论 如 何 握 升 系统 性 能 ， 了 最 直接 的 解决 方案 是 扩容 ， 或 通过 
如 加 缓存 来 捉 升 系统 并 及 能 力 ， 或 使 用 队列 进行 流量 削 峰 ， 也 可 以 使 用 
异步 并 及 机 制 提 升 吞 吐 量 或 者 接口 性 能 等 。 这 些 技 术 老 生 章 谈 ， 并 不 新 
钙 ， 但 很 实用 ， 大 家 在 实现 高 并 及 系统 时 经 币 会 遇 到 。 书 中 的 高 并 及 部 


分 可 以 帮助 读者 理解 和 使 用 这 些 技术 。 


这 本 书 还 有 一 部 分 介绍 实战 案例 ， 其 中 包含 了 和 泵 东 0 级 系统 “了 商品 评 情 

页 ”和 “商品 详情 页 统一 服务 系统， 这 两 个 系统 每 天 承载 了 束 东 几 十 亿 
的 流量 ， 书 中 深入 讲解 这 两 个 系统 的 核心 技术 ， 还 通过 采 例 详细 介绍 如 
何 使 用 OpenResty 设 计 和 开发 蜗 性 能 Web 应 用 ， 值 得 认真 阅读 。 


本 书 最 大 的 特点 是 实用 ， 书 中 的 原则 和 经 验 是 在 实战 中 总 结 和 进化 出 来 
的 。 市 面 上 系统 化 地 介绍 高 可 用 和 高 并 及 的 文章 并 不 多 ， 成 体系 的 惑 更 
D, RB Ae BUTEA FE. TER ATLAS WAR, AR GRIN ZS 
构 抽 象 能 力 、 扎 实 的 编程 基本 功 和 丰 遇 的 实 成 丝 验 ， 他 将 这 些 原 则 整理 
成 体系 ， 而 且 加 了 很 多 和 案例， 相信 可 以 很 好 地 帮助 读者 学 习 和 使 用 这 些 
原则 ， 让 读者 读 完 此 书后 能 落地 到 实际 项 目 中 。 


京东 集团 架构 师 “ 吴 博 

Fr 
大 型 互联 网 业务 需要 持续 建设 网 站 系统 并 通过 PC、 移 动 等 各 种 终端 来 
与 用 户 进行 交互 。 大 流量 网 站 架构 如 何 支持 高 并 发 访问 并 且 保证 高 可 用 


性 ， 这 是 一 个 持久 的 、 极 具 挑 成 的 技术 话题 。 坚 不 众 张 地 说 ， 无 数 互 联 
Pj 4r MER CENA i3. 


开 洲 是 页 东 优 秀 扩 术 人 才 的 典型 代表 。 他 从 研 肥 一 线 伏 起 ， 脚 路 实地 成 
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第 一 ， 理 论 与 实践 结合 。 本 书 不 仅 总 结 出 一 系列 技术 方法 论 ， 而 且 配 合 
真实 的 案例 ， 娓 妮 道 来 ， 深 入 浅 出 。 读 者 可 以 直接 将 这 些 实用 技术 运用 
到 上 自己 的 日 第 工作 中 。 

第 二 ， 深 大 与 广度 菩 具 。 本 书 选 题 极 具 针对 性 ， 专 注 于 局 可 用 与 局 并 友 
两 方面 技术 实践 ， 每 个 方面 均 详 解 一 系列 拉 术 细节 。 

第 二 ， 拉 术 与 业务 并 香 。 开 涛 并 没有 纯 谈 技术 ， 而 古 围 绕 丙 品评 情 幢 
叶 东 音 要 的 业务 产品 之 一 ， 来 展开 更 进一步 的 实践 经 验 分 诗 ， 给 读 
者 从 业务 需求 到 技术 架构 的 完整 视图 。 





第 上 四， 新兵 与 老将 咸 宜 。 无 论 是 第 一 年 人 事 软 件 开 有 太 的 工程 师 ， 还 是 工 
作 多 年 的 资深 人 人士， 均 可 从 本 书 中 受益 。 


我 个 人 强烈 推荐 此 书 。 相 信 开 涛 的 作品 不 会 让 大 家 失望 。 
京东 商城 总 架构 师 、 基 础 平台 负 贡 人 刘海 锋 
PPS 
ZEAE RK BIAB IAL, SOAS. MRIS, FT IP 
BEE, A BUTTE BINS I RA AIPA TEAS TAD IBA. ANB, TE 
可 着 词句 。 在 谈 到 其 中 的 东 个 部 分 的 时 候 ， 我 联想 到 当时 工作 中 正在 做 


的 一 个 优化 ， 还 跟 他 详细 讨论 过 ， 他 想 把 这 个 方案 也 补充 进去 作为 示 
Pil, Fath, AAAS PSE SKE GRAS is JF ? 


征 的 ， 开 洲 恨 不 得 在 这 本 书 中 ， 一 股 脑 儿 地 告诉 大 家 他 所 在 领域 中 所 学 
到 和 实践 的 知识 。 写 书 是 一 个 吃力 还 不 一 定 能 讨好 的 活 儿 ， 很 佩服 他 居 
然 能 耐心 写 了 这 么 多 《还 有 很 多 限于 整 书坊 幅 ， 链 接 到 他 的 博客 和 公众 
号 上 的 扩展 阅读 内 容 ) 。 我 看 到 了 作者 的 诚意 。 


全 书 前 半 部 分 我 是 利用 坐 地 铁 的 时 间 看 的 ， 昌 然 内 容 我 比较 熟 严 ， 但 想 
在 看 书 的 同时 如 来 能 提前 友 现 一 些 错误 束 更 好 了 ， 看 得 极 慢 。 不 过 ， 除 
一些 笔 误 之 外 也 没 友 现 什么 便 伤 。 后 来 假期 拖延 症 犯 了 ， 答 应 的 书评 
还 信 述 没有 号 完 ， 后 半 部 分 束 快 速 看 过 。 尤 其 是 第 4 部 分 邓 例 ， 弄 不 多 
驶 是 开 涛 目 己 之 前 的 工作 内 容 ， 这 些 或 多 或 少 地 都 通过 其 他 渠道 看 过 
本。 


开 涛 结合 自己 的 工作 内 容 ， 以 及 相关 上 下 游 依赖 系统 中 的 各 种 方案 、 架 
构思 想 ， 通 过 自己 的 思考 和 归 类 总 结 写成 本 书 。 其 中 不 仅 有 很 多 京东 的 
中 前 端的 架构 实践 和 技术 ， 还 有 作者 在 工作 过 程 中 用 到 的 很 多 技术 细节 
甚至 代码 。 第 2、3 部 分 比较 详细 和 系统 地 说 明了 高 可 用 、 高 并 发 互联 网 
应 用 的 常用 架构 思想 和 设计 方法 ， 并 配合 不 同 的 场景 进行 举例 曾 述 ， 比 
较 适合 对 此 已 经 有 了 一 些 经 验 的 读者 。 针 对 一 些 常见 软件 和 框架 的 细节 
使 用 说 明 ， 以 及 提供 很 多 代码 的 行文 风格 ， 也 许 能 满足 导 些 想 立 即 动手 
实践 的 读者 。 


染 构 讲 宛 权 衡 和 取舍 ， 但 是 前 近 之 一 是 尺 可 能 在 多 个 相关 领域 的 拉 术 知 


识 层 面 有 经 验 ， 因 此 染 构 也 很 重视 细 市 ， 和 需要 对 很 多 因 系 有 充分 思考 和 
权 衔 ， 才 有 取舍 。 读 者 在 阅读 本 书 的 过 程 中 ， 天 注 点 如 末 是 各 种 染 构 方 
法 ， 则 圾 要 注意 作者 接 述 的 适用 场景 。 如 果 关 注 点 是 各 种 其 体 的 技术 细 
方 ， 也 不 要 起 记忆 考 背 后 所 体现 的 染 构思 想 。 在 实际 的 工作 中 ， 很 多 方 
案 是 在 干 洪 构 方法 和 技术 的 综合 运用 ， 并 且 随 看 业务 或 场景 的 变化 而 不 
Sr Vel EA), ANAC o 
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形成 目 映 体系 ， 不 要 被 特定 的 招式 所 束缚 。 学 习 淋 构 ， 也 不 外 乎 是 吧 。 
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Hel PANS, SX. SIME, Sak, MEME. TAE 
数 软件 开 及 和 设计 人 员 来 说 ， 写 作 不 是 一 件 容易 的 事 。 因 为 与 出 来 并 不 
旦 给 目 己 看 的 ， 古 要 给 同行 们 看 。 技 术 人 员 一 方面 对 好 的 扩 术 追求 
淘 ， 万 一 方面 义 天 然 地 用 批判 和 挑剔 的 眼光 看 同行 的 作品 ， 算 是 鲁迅 先 
生 的 同道 吧 。 也 正 因 为 如 此 ， 开 许 为 此 书 内 容 的 质量 下 了 不 少 功夫 。 


开 涛 的 职业 生涯 从 空中 网 开始 ，2014 年 加 入 京东 ， 一 头 扎 进 了 超 0 级 系 
统 的 建设 过 程 中 ， 忒 和 东 丙 城 商 品 详情 页 改 厂 、 丙 品 详情 页 统一 服务 规划 
SGT. EE RSNA RIE BR AAR ARBOR AHI BE OF 
ete UE) . BARRED. DR UOTA. GEL 
EAJ, MAMIR RS BIR, ORR BEN Kt he te MIR HE PE 
RIFI MREMA SAMA AD Hn”, tata SAS Se il 
和 用 心 总 结 。 
作者 集 下 开 友 的 脚步 ， 通 过 思考 和 总 结 ， 把 动态 的 实践 静止 到 了 纸张 
上 ， 给 大 家 市 来 了 精彩 ， 愿 各 位 读者 能 够 把 这 些 及 生 在 菏 个 历史 了 瞬间 的 
实践 总 络 动 态 地 运用 到 现实 的 开 及 实践 中 。 也 期 望 作 者 可 以 开放 和 群 或 者 
公众 写 ， 扣 请 拉 术 专家 进来 ， 与 读者 进行 交流 ， 动 起 来 。 

SAAR TEAR MJ PATER 


2016 年 12 月 


序 7 开 局 探索 之 旅 ， 感 受 拉 术 的 魅力 


近年 来 ， 中 国 的 互联 网 产业 正在 以 前 所 未 有 有 的 速度 迅猛 友 展 。 而 技术 在 
业务 友 展 中 所 扮演 的 角色 日 苍 竺 要 ， 随 看 各 个 业务 形态 的 肥 展 涌现 出 了 
主 多 拉 术 应 用 上 的 成 功 双 例 和 先进 拉 术 的 研究 成 来 。 而 作者 在 本 书 中 则 
通过 对 工作 中 的 探索 和 上 总结 来 将 系统 高 可 用 这 个 神秘 砚 测 的 面纱 揭 开 ， 
让 对 此 有 兴趣 的 人 得 以 壬 其 真 容 。 


在 以 往 的 交流 和 面试 过 程 中 ， 大 多 数 的 研 友 人 员 在 其 所 研发 的 系统 中 很 
少 有 机 会 或 确实 不 需要 和 党 多 的 上 下 游 系统 、 海 量 的 业务 数据 、 复 杂 的 
部 署 环 境 以 及 极端 灾难 《如 机 房 断 电 、 光 纤 损 坏 ) 打交道， 因此 也 没有 
括 机 和 计划 去 详细 了 解 、 人 研究 系统 的 高 可 用 ， 对 于 系统 高 可 用 的 理解 和 
实践 大 多 停留 在 理论 认 知 和 个 人 尝试 阶段 ， 很 难 有 机 会 应 用 到 解决 实际 
业务 问题 上 ， 也 束 很 难 形成 自己 技术 和 理念 上 的 一 个 积 索 。 而 等 到 终于 
有 机 会 开始 在 海量 数据 和 高 并 发 场景 下 一 展映 手 的 时 候 ， 又 负 利 会 因为 
没有 系统 地 学 习 和 经 验 积累 而 在 设计 系统 、 容 灾 和 策略、 解决 问题 的 过 程 
中 艰难 前 行 。 本 书 则 通过 浅显 易 懂 的 理念 解读 和 实际 案例 将 系统 高 可 用 
相关 的 系统 设计 原则 、 系 统 限 流 、 降 级 措施 等 “兵法 三 十 六 计 ” 以 非常 下 
日 的 方式 呈现 给 了 了 大家。 让 我 们 对 于 一 些 常 见 的 高 并 发 业务 场景 下 的 系 
统 设 计 原 则 、 高 可 用 策略 有 了 清晰 的 认识 和 思路 的 拓展 。 无 论 古 刚刚 接 
触 编 程 的 学 生 


还 是 已 吴 经 上 成 的 一 线 研 及 人 员 都 可 以 从 书 中 得 到 很 多 局 及 ， 也 许 只 是 
一 个 配置 的 改变 、 一 行进 辑 的 优化 、 一 个 策略 的 调整 都 有 可 能 让 我 们 的 
系统 可 用 性 登 上 新 的 台阶 。 


电 朱 的 网 站 系统 走 过 了 从 静态 到 动态 、 从 动态 到 动 廊 结合 、 从 对 DB 的 
强 依赖 到 多 级 绥 存 、 从 下 局 服务 帮 到 上 自如 切换 流量 、 从 对 503 的 念 慢 到 
从 容 应 对 问题 、 从 修改 代码 应 对 寞 第 到 修改 配置 轻松 搞定 的 系统 演变 历 
程 。 当 一 个 系统 的 业务 体 量 达 到 可 以 引起 系统 性 能 和 健壮 性 友 生 改变 的 
时 候 ， 伴 随 痢 系统 问题 到 来 的 更 是 研 肥 人 员 目 身 能 力 提 升 和 至 贯 经 驼 积 
过 的 好 时 机 。 与 其 将 问题 用 香 局 应 用 和 “无 法 解释 的 次 腊 问 题 * 来 撼 者 ， 
不 如 把 问题 的 根源 挖掘 出 来 。 如 果 挖 抉 得 足 够 深入 ， 一 切 问 题 痢 是 可 解 
决 的 。 书 中 使 用 的 技术 和 总 结 有 的 经 验 也 许 无 法 解决 书 中 业务 场景 之 外 的 
问题 ， 但 这 也 恰恰 下 技术 的 魅力 所 在 。 没 有 一 种 技术 和 经 验 可 以 作为 系 
统 的 万 能 解 药 来 帮助 我 们 一 苑 水 逸 地 避免 掉 所 有 隐患 ， 但 我 们 可 以 通过 
对 思想 的 接纳 和 消化 来 丰 是 我们 的 知识 体系 ， 让 我 们 成 为 一 个 有 思想 的 


研发 人 员 。 阮 一 峰 曾 经 在 他 的 书 中 对 于 “如 何 变 有 思想 ”做 过 解释 ， 我 觉 
得 非常 适合 用 在 研发 人 员 的 身上 。 研 发 人 员 的 思想 是 什么 ? 当 你 对 一 个 
需求 、 对 一 个 业务 形态 或 者 对 一 个 问题 有 目 己 的 观点 见解 ， 那 你 束 是 有 
思想 的 。 你 的 观点 越 多 就 越 可 能 接近 问题 的 本 质 ， 那 么 你 的 思想 就 越 深 
刻 和 丰富 。 虽 然 你 的 观点 不 一 定 是 事实 也 不 一 定 是 正确 的 ， 但 作为 研发 
人 员 如 果 有 了 通过 不 断 探 索 、 质 疑 、 证 明 观 点 的 能 力 之 后 ， 那 么 也 就 有 
了 透析 问题 、 解 决 问题 的 能 力 。 那 么 在 面 对 一 个 看 似 简单 的 需求 或 者 业 
务 时 ， 也 许 你 可 以 看 得 更 透彻 ， 将 系统 设计 得 更 适用 更 合理 ， 当 你 遇 到 
书 中 提 及 的 问题 时 也 可 以 开始 轻松 应 对 。 


我 想 ， 阅 读 并 了 解 书 中 对 于 系统 局 可 用 这 个 领域 的 介绍 一 定 会 让 你 乐 在 
LH. EPA PKA] Haas A EERE RS AIAN IE, {ETE ASE AR ART FBR IE 
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大 规模 分 布 式 系统 的 构建 ， 面 临 很 多 的 困难 和 问题 ， 但 是 请 记 住 ， 对 架 
构 师 而 言 ， 不 管 我 们 要 解决 多 少 困难 ， 最 重要 的 是 要 保证 系统 可 用 ， 无 
论 任 何 环境 、 任 何 压 力 、 任 何 场景 ， 系 统 都 要 可 用 ， 这 是 我 们 的 第 一 要 
务 。 在 保证 系统 高 可 用 的 前 提 下 ， 大 型 分 布 式 系统 面临 的 最 突出 的 三 大 


问题 瓯 是 : 如 何 应 对 高 并 及 、 如 何 处 理 大 数据 量 、 如 何 处 理 分 布 式 市 来 
的 一 系列 问题 。 这 也 是 很 多 一 线 染 构 老 司机 们 的 感悟 和 共识 。 


详细 、 专 业 地 讲述 了 : 大 型 分 布 式 系统 如 何 保证 高 可 用 性 ， 以 及 如 何 应 
对 高 并 及 这 两 个 大 方面 。 涉 及 很 多 扩 术 和 细 玉 。 比 如 用 来 体 证 高 可 用 

Hy: 负载 均衡 和 反 同 人 代理、 隔离 、 限 流 、 降 级 、 超 时 与 重 试 等 ; 叉 比 如 
用 来 处 理 蜗 并 友 的 : MHF ERWE ERW, HFFR MAIA 
理 等 。 对 很 多 朋友 来 说 ， 这 里 面 很 多 知识 都 是 入 邮 其 名 ， 而 不 知 其 然 ， 
更 不 知 其 所 以 然 的 ， 学 习 本 书 正好 能 弥 补 大 家 在 这 些 方面 的 知识 短 板 。 


作者 以 匠人 的 情怀 ， 把 每 个 方面 从 理论 到 应 用 、 从 技术 本 质 到 具体 实现 
秀 讲 得 透彻 明了 ， 以 平实 而 不 失 激 情 的 风格 九 妮 道 来 ， 再 辅 以 实 成 经 验 
的 扩展 ， 不 单单 让 读者 学 习 到 有 具体 的 撤 术 和 解 次 问题 的 思路 ， 更 是 给 出 
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尤为 难得 的 是 : 本 书 还 结合 实际 的 大 型 应 用 一 一 系 东 的 商品 详情 页 的 实 
现 ， 详 细 讲 解 了 这 上 坚 技术 和 方案 在 只 实 场景 的 组 合 应 用 ， 以 更 好 地 让 知 
识 落 地 。 本 书 先是 介绍 了 系 东 商品 详情 页 的 基本 功能 、 技 术 架 构 的 肥 展 
以 及 架构 设计 ， 妆 然 还 有 很 多 实际 的 经 验 和 体会 ， 以 “直到 的 填 和 问 
题 ”* 的 面貌 出 现 ， 然 后 详细 地 讲述 了 和 泵 东 丙 品 详情 页 的 服务 闭环 实践 。 


为 了 更 好 地 讲述 系 东 商品 详情 页 的 基体 实 现 ， 作 者 先 讲述 了 实现 中 使 用 
的 基本 技术 一 -OpenResty， 然 后 又 详细 地 讲解 如 何 使 用 OpenResty 来 开 
用 商品 详情 页 ， 里 面 涉 及 好 多 具体 而 细 化 的 点 ， 都 是 实际 开发 中 会 用 到 
的 ， 值 得 去 认真 体会 。 这 样 真 实 而 详细 地 讲述 这 种 大 型 系统 的 实现 ， 绝 
对 一 手 的 搁 术 资料 ， 是 具有 极 大 的 参考 价值 的 。 


其 实 ， 市 面 上 讲述 大 型 分 布 陈 架构 的 书 很 多 ， 但 基本 上 者 停留 在 理论 和 
知识 的 层面 ， 看 上 去 都 很 对 ， 很 “局 大 上 ”， 但 融 是 钞 不 了 地 ， 不 能 很 好 
地 跟 实 际 应 用 进行 结合 ， 从 而 叶 致 学 习 的 效果 欠 佳 。 而 本 书 很 好 地 解决 
了 这 个 问题 ， 不 仅 深入 浅 出 地 讲述 了 各 种 保障 高 可 用 ， 以 及 处 理 高 并 及 
的 技术 和 方案 ， 并 理论 联系 实际 ， 采 用 系 东 商品 详情 页 的 具体 实现 这 个 
实际 和 案例， 来 综合 展示 了 这 些 技术 的 应 用 ， 从 而 加 深 大 家 的 理解 和 领 
情 ， 以 更 好 地 把 这 些 拉 术 和 方 条 应 用 到 目 己 的 实际 项 目 中 去 。 


事实 上 ， 像 本 书 这 样 既 有 详尽 的 拉 术 学 习 ， 义 有 真实 、 和 典型 案例 讲述 的 
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的 人 并 个 多 ， 能 讲 明 日 的 更 少 。 本 书 作 者 恰好 融和 是 那 极 少数 撤 术 、 经 验 
和 知识 传授 俱 佳 的 牛人 之 一 ， 这 是 读者 之 焉 。 仔 细 赔 读 完 本 书 ， 让 人 有 
一 种 醒 融 灌顶 的 顿 情 ， 掩 若 长 叹 “ 原 来 如 此 啊 ”。 


坦率 地 说 ， 本 书 不 是 写 给 初学 者 的 ， 对 于 有 一 定 的 开发 经 验 ， 甚 至 是 架 
构 设 计 经 验 的 朋友 ， 能 从 本 书 中 收获 更 多 。 但 我 仍然 确信 ， 不 官 是 证 有 
经 验 的 架构 师 ， 还 是 想 要 学 习 架 构 知 识 的 入 门 者 ， 仔 细 、 深 入 阅读 本 

书 ， 就 一 定 会 有 收获 。 对 于 暂时 不 太 理 解 的 内 容 ， 建 议 反 复 阅 读 ， 或 者 
隐 段 时 间 再 看 ， 并 不 断 深入 思考 ， 最 好 是 能 结合 实际 的 项 目 ， 把 这 些 知 
识 都 应 用 上 去 ， 学 以 致 用 ， 这 也 不 枉 费 作者 的 一 番 心 血 。 


细 想 起 来 ， 认 识 作者 八 年 多 了 ， 了 眼看 看 作者 走出 校园 步 入 职场 ， 从 职场 
新 兵 ， 到 成 长 成 为 在 京东 领导 着 上 百人 团队 的 技术 大 牛 ， 仿 佛 一 切 都 在 





上 昨天， 让 人 不 由 不 感慨 时 间 如 白 驹 过 际 。 在 我 眼中 ， 作 者 依然 是 那 山 
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好 学 、 普 思 、 勤 盏 ， 且 积极 在 实际 工作 中 应 用 所 竺 的 知识 ， 既 欢 分 圣 技 
术 ， 管 年 坚持 撰写 拉 术 博文 ， 拥 有 个 少 忠 实 粉 经 ， 在 和 泵 东 内 部 ， 也 是 特 
别 受 欢迎 的 讲师 之 一 。 为 外 告诉 大 家 一 个 小 秘密 ， 作 者 爱好 摄影 ， 绝 对 
专业 级 水 准 哦 。 


《研磨 设计 模式 》 作 者 ERES 


为 什么 要 与 这 本 书 


在 2011 年 年 压 的 时 低 笔 者 束 兽 规划 写 一 本 Spring 的 书 ， 但 是 因为 是 
Spring 入 门类 型 的 书 ， 往 如 的 内 容 更 新 太 快 ， 帝 得 还 是 与 博 各 好 一 些 ， 
KERESET GRR Spring) WME y 
(jinnianshilongnian.iteye.com， 因 为 是 龙 年 开 的 博 各 ， 很 多 网 友 喊 我 万 
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时 会 肥 现 ， 很 多 内 容 不 成 体系 ， 不 能 用 来 系统 地 学 习 ， 这 也 是 我 曾经 的 
痛 点 ， 因 此 我 写 博 客 的 一 个 特色 束 是 坚持 写 系 列 文 章 一 一 想 和 学习 菏 种 技 
术 只 要 我 的 博客 有 束 不 需要 去 其 他 地 方 再 找 了 ， 到 现在 已 经 写 过 《 跟 我 
学 Spring》、《Spring 杂 谈 》、“《 跟 我 学 Spring MVC) . (ERR 
Shiro》、《 跟 我 学 Nginx+Lua》 等 系列 ， 累 计 访 问 量 已 超过 1000 万 。 我 
写 博 客 还 有 一 个 私心 : 市 新 人 ， 当 时 我 们 系统 架构 使 用 OpenResty， 而 
团队 成 员 部 是 Java 程 订 员 ， 所 以 束 写 了 《 跟 我 学 

OpenResty (Nginx+Lua) 开 及 》， 新 人 跟 痢 教程 学 一 过 殉 能 上 手 干 活 
So FATTER TE 


2015 年 开始 ， 笔 者 在 个 人 公众 写 “ 开 涛 的 博客 ”撰写 《 聊 聊 高 并 发 系统 》 
系列 文章 ， 陆 续 发 表 了 《 聊 聊 高 并 发 系统 之 限 流 特 搁 》、《 聊 聊 遍 并 发 
系统 之 降级 特技 》、《 聊 聊 高 并 发 系统 之 队列 术 》、《 构 建 需求 响应 式 
亿 级 商品 详情 页 》 等 文章 。 这 些 内 容 都 是 笔者 在 一 线 使 用 过 的 一 些 技 
能 ， 而 这 些 技能 又 是 一 线程 序 员 或 架构 师 应 该 掌握 的 必 备 技能 。 而 且 这 
一 系列 也 得 到 了 很 多 读者 的 反馈 和 认可 ， 帮 助 他 们 解决 了 系统 的 一 些 问 
题 。 公 众 号 发 表 的 有 些 内 容 仿 理论， 很 多 人 不 知道 怎么 去 用 ， 因 此 就 有 
了 丰 宣 理论 和 实战 内 容 并 出 版 本 书 的 想法 。 想 学 习 高 可 用 和 高 并 发 系统 
技能 ， 看 这 本 书 就 够 了 ， 并 且 可 以 作为 案头 工具 书 来 用 。 








笔者 耗费 了 大 半年 业余 时 间 才 成 惑 此 书 ， 硕 望 这 些 实战 中 能 真 地 用 得 上 
的 技术 可 以 帮助 到 读者 。 


本 刷 讲 解 的 原则 并 不 是 笔 痢 已 络 出 来 的 ， 有 许 许 多 多 责 府 们 已 经 实 跨 
过 ， 笔 者 只 是 伦 了 扣 时 间 进 行 汇 总， 并 把 工作 中 使 用 过 的 一 些 经 验 和 且 
例 融 入 到 书 中 。 


成 长 和 进步 是 一 个 人 循序 渐进 的 过 程 ， 妥 图 看 完 本 书后 能 屠 龙 降 麻 是 个 可 
Hen, AA GER M, FLARES SR et TEU 
作家 格拉 人 德 威 水 在 《异类 : 不 一 样 的 成 功 司 示 录 》 一 书 中 的 一 万 小 时 定 
fg: “人 们 眼中 的 天 才 之 所 以 早 越 非凡 ， 并 非 天 资 超人 一 等 ， 而 是 付出 
了 持续 不 断 的 努力 。 一 万 小 时 的 锤炼 是 任何 人 从 平凡 变 成 世界 级 大 师 的 


必要 条 件 ”。 


读者 对 象 

本 书 布 户 对 在 一 线 从 事 开 友 工 作 或 正在 解决 一 线 问题 的 朋友 有 所 帮助 。 
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分 ， 读 者 可 按照 任何 顺序 阅读 每 一 个 部 分 ， 但 建议 先 阅读 第 1 部 分 进行 
系统 了 解 。 
第 1 部 分 概述 ， 主 要 介绍 开发 高 并 发 系统 的 一 些 原则 ， 并 阐述 本 书 将 要 
讲解 的 原则 。 


第 2 部 分 局 可 用 ， 融 助 读者 理解 局 可 用 的 一 些 原 则 ， 如 负载 均衡 、 限 
流 、 降 级 、 隔 离 、 超 时 与 重 试 、 回 深 机 制 、 压 测 与 预案 每， 并 能 实际 应 


用 到 目 己 的 系统 中 。 


第 3 部 分 高 并 发 ， 介 绍 开发 高 并 发 系统 的 一 些 原则 ， 如 缓存 、 池 化 、 蜡 
步 化 、 扩 容 、 队 列 等 ， 并 配合 大 量 案例 帮助 读者 更 好 地 掌握 和 运用 。 


HAT Rew, SPRATT ALIN ln VET. St RA SE RAR 
XR ESAS OZR ER A see BESEBUXIA RE 26 p WU . 


阅读 本 书 需 要 对 Java、OpenResty (Nginx*Lua) 、Redis、MYysQl 等 技术 
有 一 定 了 解 ，OpenResty 可 以 参考 我 的 博 各 中 的 《 跟 我 学 

OpenResty (Nginx+Lua) 开 有 发》 系列 文 草 。 本 文 提 到 的 Nginx+Lua 等 后 
于 OpenResty。 可 扫 人 阅读 《 跟 我 学 OpenResty (Nginx+Lua) JF) . 





[m] h 


因为 篇 幅 原 因 ， 本 书 示 例 很 难 做 到 全 面 且 详细 ， 因 此 思路 不 要 受 限 于 书 
中 所 写 ， 要 活 学 活用 ， 举 一 反 三 。 比 如 多 级 缓存 的 思路 ， 可 以 扩展 到 多 
级 存储 : PE SNVMe/SATA SSD > PLURA- 


BMC 
由 于 笔 痢 能 为 有 限 ， 虽 然 找 了 很 多 朋友 帮忙 校对 ， 但 书 中 难免 会 出 现 一 


些 错误 ， 也 请 读者 朋友 批评 指正 。 大 家 可 以 扫 如 下 二 维 码 关注 我 的 公众 
号 或 者 访问 我 的 博客 留言 反馈 错误 和 建议 ， 笔 者 会 积极 提供 解答 ， 
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读者 服务 


轻松 注册 成 为 博文 视点 社区 用 户 Gwww.broadview.com.cn) ， 您 即 可 享 
ZUR ARS: 


a E E MEUSE CUM 
下 载 。 


” 提交 勘误 : 您 对 书 中 扩容 的 修改 意见 可 在 【提交 葛 误 】 处 提交 ， 帮 被 
采纳 ， 将 获 赠 博文 视点 社区 积分 在 您 购买 电子 书 时 ， 积 分 可 用 来 抵 扣 


相应 金额 ) 。 


与 作者 区 流 : 在 页 面 下 方 【读者 评论 】 处 留 下 您 的 疑问 或 观点 ， 与 作 
者 和 其 他 读者 一 同学 习 交 流 。 


页 面 入 口 : http://www.broadview.com.cn/30954 
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业务 设计 原则 


: 总 结 


AN =H 


1 IDH ARR BCT HY — EE J 


FEB AVE, BRE DTD TY RAT AHN Kt, Re 
RAW YT AE AE n] RSS SF. TERI ARAN, BAe. WTA 
Ao RRR EE PPE RTT AF soe, TERA ARR URI TE 
Wü b. REET CHR PRI oly AY Tale, UF AC ACR AY Bé da BOE Td 
A, “PO PRB. Wiel, RAE TA TIA 
WHE, TEXAN ACH Ie) SPE [RIS BIDS AE mK AI ARSE AIA DU 
化 出 来 的 ， 这 是 一 个 持续 的 过 程 ， 个 人 不 相信 完美 架构 银 弹 。 不 过 ， 如 
来 一 开始 就 有 好 的 基础 系统 设计 ， 未 来 可 以 更 容易 达到 一 个 比较 满意 的 
目标 。 一 个 好 的 设计 要 做 a 到， 解决 现 有 需求 和 问题 ， 拒 控 实 现 和 进度 风 
险 ， 预 测 和 规划 未 来 ， 不 要 过 上 度 设 计 ， 从 述 代 中 演进 和 完善 。 


ERRAN, MIA MBG as PETE 。 

1. 任 何事 部 没有 表面 看 起 来 那么 简单 。 

2. 所 有 的 事 部 会 比 你 预计 的 时 间 长 。 

3. 可 能 出 错 的 事 总 会 出 错 。 

4. 如 来 你 担心 和 种 情况 发 生 ， 那 么 它 束 更 有 可 能 友 生 。 
在 系统 划分 时 ， 也 要 思考 康 威 定律 。 

1. 系 统 架 构 羡 公司 组 织 架 构 的 反映 。 


2. 应 该 按照 业务 闭环 进行 系统 拆 分 /组 织 架 构 划 分 ， 实 现 闭 环 /高 内 聚 / 低 
Rar» VLD VA MAS 


3. UN ARYA HH Sede, AB GIL RHETT RAZA ZAR TE EAE e 


4. 在 合适 时 机 进行 系统 拆 分 ， 不 要 一 开始 惑 把 系统 /服务 拆 得 非常 细 ， 虽 
然 团 环 ， 但 是 每 个 人 维护 的 系统 多 ， 维 护 成 本 融 。 


应 该 多 慑 励 团队 成 员 积 极 主动 沟通 并 推动 系统 演进 。 为 外 ， 也 要 多 思考 
二 八 定律 ， 在 系统 设计 初期 将 有 限 的 资源 用 到 刀 为 上 ， 以 最 小 化 可 行 产 
inh A SOS CHEE 


在 持续 开 友 系统 的 过 程 中 ， 会 有 一 些 设 计 原 则 /经 验 可 以 用 来 但 循 和 指 
村 我 们 。 但 设计 原则 应 该 在 系统 达 代 过 程 中 ， 根 据 现 有 问题 或 特征 岂 配 
使 用 ， 如 果 刚 开始 迪 到 的 不 是 核心 问题 ， 那 么 不 要 复 林 化 系统 设计 ， 但 
先行 规划 和 设计 是 有 必要 的 ， 要 对 现 有 问题 有 方案 ， 对 未 来 架构 有 预 


Ro 


1.1 PARAM 
1.1.1 无 状态 


如 果 设 计 的 应 用 是 无 状态 的 ， 那 么 应 用 比较 容易 进行 水 平 扩展 。 实 际 生 
产 环境 可 能 是 这 样 的 : 应 用 无 状态 ， 配 置 文件 有 状态 。 比 如 ， 不 同 的 机 
房 需要 谈 取 不 同 的 数据 源 ， 此 时 ， 珊 需要 通过 上 配置 文件 或 配置 中 心 指 


4— 2? 


AE. o 


1.1.2 J57j 


FERRI IS, ENP AT EY REE ELK BG BIA RAT AK, X 
^N Wn SEAR DEA Base TT OUT. ECU, ABABA TES, KAHPE 
不 会 特别 大 ， 开 及 吏 笔 者 一 个 人 ， 资 源 有 限 ， 那 融 设 必要 对 系统 拆 分 
《比如 ， 拆 分 商品 、 订 单 等 ) ， 做 一 个 六 而 全 的 系统 即 可 。 而 像 设 计 系 
乐 秒杀 系统 ， 访 问 量 是 非常 大 的 ， 而 且 投入 的 资源 还 是 覃 充足 的 ， 在 这 
种 情况 下 ， 婚 可 以 考虑 按 功 能 拆 分 系统 。 


笔者 过 到 的 拆 分 主要 有 如 下 几 种 情况 。 


系统 维度 : 按照 系统 驴 能 /业务 拆 分 ， 比 如 商品 系统 、 购 物 年 、 结 算 、 
订单 系统 等 。 


功能 维度 : 对 一 个 系统 进行 功能 再 拆 分 ， 比 如 ， 优 惠 券 系统 可 以 拆 分 


读 写 维度 ”， 根据 读 写 比 例 特征 进行 拆 分 。 比 如 ， 商 品系 统 ， 交 易 的 各 


个 系统 都 会 该 取 数 据 ， 谈 的 量 大 于 写 ， 因 此 可 以 拆 分 成 商品 与 服务 、 丙 
扩 读 服务 读 服 务 可 以 考虑 使 用 缕 存 近 升 性 能 ; 写 的 量 太 大 时 ， 圾 要 考 
aa, 有 些 聚 合 读 取 的 场景 ， 如 商品 详情 页 ， 可 考 夺 数据 开 构 乓 
分 系统 ， 将 分 散在 多 处 的 数据 聚合 到 一 处 人 存储， 以 提升 系 统 的 性 能 和 可 


ATE: 


AOP : 根据 访问 特征 ， 按 照 AOP 进 行 拆 分 ， 比 如 ， 商 品 详情 页 可 
以 分 为 CDN 、 页 面 泻 染 系统 ， CDNA E MNAO RA. 


PAER  . 比如 ， 按 照 基础 或 者 代码 维护 特征 进行 拆 分 ， 如 基础 模块 
分 库 分 表 、 数 据 库 连接 池 等 ， 代 人 码 结 构 一 般 按 照 三 层 架 构 CWeb. 
Service. DAO) 进行 划分 。 


1.1.3 ”服务 化 


首先 ， 判 断 是 不 是 只 需要 简单 的 单 点 远程 服务 调用 ， 单 机 不 行 集群 是 不 
是 束 可 以 解决 ? 在 客户 并 注 册 多 台 机 右 并 使 用 Nginx 进 行人 负载 均衡 是 不 
是 束 可 以 解决 ? 随 厦 调用 方 越 来 越 多 ， 应 该 考虑 使 用 服务 自动 注册 和 发 
现 〈 如 Dubbo 使 用 ZooKeeper) 。 其 次 ， 还 要 考虑 服务 的 分 组 /隔离 ， 比 
如 ， 有 的 系统 访问 量 太 大 ， 导 致 把 整个 服务 打 挂 ， 因 此 ， 和 需要 为 不 同 的 
调用 方 提 供 不 同 的 服务 分 组 ， 隅 离 访 问 。 后 期 随 独 调用 量 的 增加 还 要 考 
FEARS WR. FAAS. WA a YES, ORBIT E 
试 机 制 、 服 务 路 由 《能 动态 切换 不 同 的 分 组 ) 、 故 障 补偿 等 ， 这 些 都 会 
影响 到 服务 的 质量 。 


总 结 为 : 进程 内 服务 — 单机 远程 服务 集群 手动 注册 服务 和 目 动 注册 和 
RIMIS > 服务 的 分 组 /隔离 /路 由 ~ 服务 治理 如 限 流 / 黑 日 名 单 。 


1.1.4 TH DÀ Hn] 


1B BAS ce Hd OR RAO — ES is E Fd 2 RIF] IR SBS VIT pu] — G CS ER 
KGE. EFA YE ADA AY VA SEARS ERR (一 对 多 消费 ) 、 弄 步 处 
BEL URE BUSS EEO, HA RST PAS DT PB, TARA 

非 前 多 的 系统 关心 并 订阅 ， 比 如 ， 订 单 生产 系 统 、 定 期 送 系 统 、 订 单 风 
控 系 统 等 等 。 如 条 订阅 者 太 多 ， 那 么 订阅 单个 消息 队列 吏 会 成 为 瓶 锋 ， 

此 时 ， 和 需要 考虑 对 消 明 队 列 进行 多 个 镜像 复制 。 


使 用 消 恩 队列 时 ， 还 要 注意 处 理 生 产 消息 失败 ， 以 及 消息 重复 接收 时 的 
场景 。 有 些 消息 队列 产品 会 提供 生 产 重 斌 功能， 在 达到 指定 重 斌 次数 还 
未 生产 成 功 时 ， 会 对 外 通知 生产 失败 。 这 时 ， 对 于 不 能 容 人 怨 生 产 失 败 的 
业务 场景 来 说 ， 一 定 要 做 好 后 续 的 数据 处 理工 作 ， 如 持久 化 数据 要 同时 
PENA. WEST. OA eel, Fle HE A BBS, 
di OS PE REA IAS S. FE HES Boe ARIE A UN, "TE 
业务 层面 进行 防 重 处 理 。 


1. 大 流量 缓冲 

在 电 商 搞 大 促 时 ， 系 统 流量 会 高 于 正常 流量 的 几 倍 甚 至 几 十 倍 ， 此 时 就 
要 进行 一 些 特殊 的 设计 来 保证 系统 平稳 度 过 这 上 段 时 期 ， 而 解决 的 手段 很 
多 ， 一 般 都 是 牺牲 强 一 致 性 ， 而 保证 最 终 一 致 性 即 可 。 


比如 ， 扣 减 库 存 ， 可 以 考虑 这 样 设计 。 








Redis 扣 减 库 存 记录 扣 减 日 志 


3 


D — 一 
[n] +7 Worker >| Wü | 
直接 在 Redis 中 扣 减 ， 然 后 记录 下 扣 减 日 志 ， 通 过 Worker 同 步 到 DB。 
还 有 ， 如 交易 订单 系统 ， 可 以 考虑 这 样 设 计 。 


g Meis | 
3.1 
32 f 
- 同步 Worker — 


首先 ， 结 算 服 务 调 用 订单 接 单 服务 ， 将 订单 仓储 到 订单 Redis 和 订单 队 
列表 ， 订 单 队 列表 可 以 按照 需求 水 平 扩展 多 个 表 ， 退 过 队列 缓冲 表 提 升 
接 音 能力。 人 然后， 通过 同步 Worker 同 步 到 订单 中 心 表 ;， CAELI SOL T 
订单 ， 订 单 状态 机 会 驱动 状态 变更 ， 此 时 ， 可 能 订单 队列 表 的 订单 还 没 
有 同步 到 订单 中 心 表 ， 状 态 机 要 根据 实际 情况 进行 音 试 。 

















订单 队列 表 


如 朱 用 户 奉 看 单个 订 音 详情， 那么 可 以 直接 从 订 半 Redis 中 奋 到 。 但 如 
朱 奏 区 订单 列表 ， 则 需要 考虑 订单 Redis 和 列表 的 合并 。 


同步 Worker 在 设计 时 ， 和 需要 考虑 并 友 处 理 和 香 复 处 理 的 问题 ， 比 如 ， 使 
用 单机 串 行 扫 摘 处 理 〈 每 台 Worker 只 扫 朱 其 中 的 一 部 分 表 ) 还 是 集群 处 
HH (Map-Reduce) 。 邦 外， 需要 考虑 是 售 需 要 对 订单 队列 表 添 加 相关 字 
Ee: 处 理 人 《哪个 应 用 正在 处 理 ) 和 处 理 状态 《正在 处 理 、 已 处 理 、 处 
理 失 败 ) 、 最 后 处 理 时 间 《〈 应 对 超时 ) 、 失 败 次 数 等 。 


2. 效 据 校 对 


在 使 用 了 消息 异步 机 制 的 场景 下 ， 可 能 存在 消息 的 丢失 ， 需 要 考虑 进行 
数据 校对 和 修正 来 保证 数据 的 一 致 性 和 完整 性 。 可 以 通过 Worker 定 期 去 
扫描 原始 表 ， 通 过 对 业务 数据 进行 校对 ， 有 问题 的 要 进行 补偿 ， 扫 摘 周 
期 根据 实际 场景 进行 定义 。 


1.1.5 ”数据 异 构 


1.2: 35 FETA 


订单 分 库 分 表 一 般 控 照 订 单 ID 进行 分 ， 如 果 要 答 询 某 个 用 户 的 订单 列 
表 ， 则 需要 聚合 多 个 表 的 数据 后 才能 返回 ， 这 样 会 导致 订单 表 的 读 性 能 
很 低 。 此 时 需要 对 订单 表 进 行 寞 构 ， 寞 构 一 套用 户 订 单 表 ， 按 照 用 户 ID 
进行 分 库 分 表 。 男 外 ， 还 需要 考虑 对 历史 订单 数据 进行 归档 处 理 ， 以 提 
升 服务 的 性 能 和 稳定 性 。 而 有 些 数 据 异 构 的 晶 义 不 大 ， 如 库存 价格 ， 可 
以 考虑 异步 加 载 ， 或 者 合并 并 发 请 求 。 

2. 数 据 闭 环 

数据 闭环 如 了 商品 详情 页 ， 因 为 数据 来 源太 多 ， 影 响 服 务 稳 定性 的 因 系 就 
非常 多 了 。 因 此 ， 最 好 的 办 法 是 把 使 用 到 的 数据 进行 异 构 存储 ， 形 成 数 
据 财 环 ， 基 本 步骤 如 下 。 


数据 异 构 : 通过 如 MQ 机 制 接 收 数据 变更 ， 然 后 原子 化 存储 到 合适 的 
存储 引擎 ， 如 Redis 或 持久 化 KV 存 储 。 


- 数据 聚合 : 这 步 是 可 选 的 ， 数 据 卉 构 的 目的 是 把 数据 从 多 个 数据 源 拿 
过 来 ， 数 据 有 聚合 的 目的 是 把 这 些 数据 做 个 聚合 ， 这 样 前 闹 束 可 以 一 个 调 


用 全 到 所 有 数据 ， 此 步骤 一 般 存 储 到 KV 存 储 中 。 
- Wü EE IN: — 前 中 通过 一 次 或 少量 儿 次 调用 拿 到 所 需要 的 数据 。 


这 种 方式 的 好 处 束 古 数据 的 闭环 ， 任 何 依赖 系统 出 问题 了， 还 是 能 正 第 
工作 ， 只 是 更 新 会 有 积压 ， 但 是 不 影响 前 姗 展示 。 


呈 外， 此 处 如 采 一 次 需要 多 个 数据 ， 那 么 可 以 考虑 使 用 Hash Tag 机 制 将 
相关 的 数据 聚合 到 一 个 实例 ， 如 在 展示 商品 详情 页 时 需要 商品 基本 信 
已 “p:productId:” 和 商品 规格 参数 “d:productId:”， 此 时 就 可 以 使 用 冒 亏 中 
的 —— Aa HA key, 2X48 JE] productId ey rj rm 4H RAE 3L 

下 一 个 实例 。 


数据 闭环 和 数据 异 构 其 实 是 一 个 概念 ， 目 的 都 是 实现 数据 的 目 我 控制 ， 
当 其 他 系统 出 问题 时 不 影响 目 己 的 系统 ， 或 者 目 己 出 问题 时 不 影响 其 他 
系统 。 一 般 通 过 消 恩 队列 来 实现 数据 分 友 。 


1.1.6 ”缓存 银 弹 
缓存 对 于 读 服务 来 说 可 谓 抗 流量 的 银 弹 ， 可 总 结 为 下 表 。 


流程 节点 缓存 技术 

使 用 浏览 器 缓存 
客户 端 应 用 缓存 

客户 端 网 络 代理 服务 器 开局 缓存 
使 用 代理 服务 器 ( 含 CDN ) 

广域网 使 用 镜像 服务 器 
使 用 P2P 技术 
使 用 接 入 层 提供 的 缓存 机 制 
使 用 应 用 层 提供 的 缓存 机 制 

源 站 及 源 站 网 络 使 用 分 布 式 缓存 
静态 化 、 伪 静态 化 
使 用 服务 器 操作 系统 提供 的 缓存 机 制 


CURE 











本 表 由 林 世 洪 提供 。 

















Li OR AS ig BR AF 


设置 请 求 的 过 期 时 间 ， 如 对 啊 应 头 Expires、Cache-control 进 行 控 制 。 这 
种 机 制 适 用 于 对 实时 性 不 太 敏 感 的 数据 ， 如 两 品 详情 页 框架 、 丙 家 评 
分 、 评 价 、 广 告 词 等 ;但 对 于 价格 、 库 存 等 实时 要 求 比较 高 的 数据 ， 吏 
AS BE ABO ot BB itt BAF o 


2.APP% P vin Be FF 


TE Ke I] 7 Y EBEE B E DEL BÜTGAPP n 22 VJ I8] HJ 
HEM Cüljs/css/imageSr) Gen FABIA PF 3m3Xt1I 9x41, KIFER 
IE ah AN A ti UKE RT Y s XU WU EE BEBE (5 n] WA EER, FED 2K 
FEU PLEA HURAE H PRs; 还 有 如 APP 地 图 一 般 也 会 做 地 
图 的 离线 缓存 。 


3.CDN 绥 存 


有 些 页 面 、 活 动 页 、 图 片 等 服务 可 以 考 碟 将 页 面 、 活 动 页 、 图 瞩 推 送 到 
AHP ESOETÜICDNT rs, LEAD Rees Te IS TI AER PAE e HJ HE e 
一 般 有 两 种 机 制 : TEAL] CS PESE E a EEA CDNA ZI A 
Ab. BU] GA IRSE eos SZAAR, FIRES ase BA 
容 并 存储 到 节 扣 上 〉) . PARTS ABE. BEHICDNHEI 225 BURLA 
计 ， 比 如 UREL 中 不 能 有 随机 数 ， 否 则 每 次 都 军 透 CDN 回 诛 到 谣 服 务 亏 ， 
perm CET It 

源 。 


4. 接 入 层 缓存 


对 于 没有 CDN 绥 存 的 应 用 来 说 ， 可 以 考虑 使 用 如 Nginx 搭 建 一 层 接 入 
层 ， 该 拨 入 层 可 以 考 夸 使 用 如 下 机 制 实现 。 


-URLZE 5S: 将 UREL 按 照 指定 的 顺序 或 者 格式 重 写 ， 去 除 随 机 数 。 


”一 致 性 哈 希 : ”按照 指定 的 参数 〈 如 分 类 /商品 编号 ) 做 一 致 性 Hash， 
从 而 你 证 相同 数据 落 到 一 全 服务 大 上 。 


:proxy cache: 使 用 内 存 级 /SSD 级 代理 绥 存 来 缓存 内 容 。 


- proxy cache lock: ”使 用 lock 机 制 ， 将 多 个 回 源 合并 为 一 个 ， 以 减少 
回 源 量 ， 并 设置 相应 的 lock 超 时 时 间 。 


shared dict: ”如 果 架 构 使 用 了 nginx+lua 实 现 ， 则 可 以 考虑 使 用 lua 
shared_dict 进 行 cache， 最 大 的 好 处 就 是 reload 绥 存 不 会 丢失。 


此 处 要 注意 ， 对 于 托 捕 (或 名 后 ， 指 降级 后 显示 的 ) 数据 或 弄 第 数据 ， 
不 应 该 让 其 缓 仔 ， 人 否则 用 户 会 在 很 长 一 段 时 间 里 看 到 这 些 数据 。 


5. HE ZEE 


我 们 使 用 Tomcat 时 ， 可 以 使 用 堆 内 绥 存 / 推 外 缓存 ， 扒 内 缓存 的 最 大 问 
题 就 是 重启 时 内 存 中 的 缓存 会 丢失 ， 此 时 流量 风暴 来 临 ， 则 有 可 能 冲垮 
应 用 ; 还 可 考虑 使 用 local redis cache RBA: 或 在 接 入 层 使 用 
shared_dict 来 将 绥 存 前 置 ， 以 减少 风暴 。 


local redis cache， 通 过 在 应 用 所 在 服务 需 上 部 普 一 组 Redis， 应 用 直接 读 
本 机 Redis 获 取 数 据 ， 多 机 之 间 使 用 主 从 机 制 同步 数据 。 这 种 方式 没有 
网 络 消 耗 ， 性 能 是 最 优 的 。 

6. 分 布 式 缓存 

有 一 种 机 制 是 要 废弃 分 布 式 缓存 ， 改 成 应 用 local redis _ cache 情况 下 ， 如 
果 数 据 量 不 大 ， 这 种 架构 是 最 优 的 。 但 是 如 果 数 据 量 太 大 ， 单 服务 器 存 


储 不 了 ， 那 么 可 以 使 用 分 片 机 制 将 流量 分 散 到 多 台 ， 或 者 直接 用 分 布 式 
缓存 实现 。 常 见 的 分 片 规则 就 是 一 致 性 哈 希 了 。 






b 


Tomcat Twemproxy 


如 上 图 所 示 就 是 我 们 一 个 应 用 的 架构 。 

- 首先 接 入 层 Cnginx+lua) 谈 取 本 地 proxy cache / local cache. 

如 果 不 命中 ， 则 接 入 层 会 接着 读 取 分 布 式 Redis 集 群 。 

: 如 果 还 不 命中 ， 则 会 回 源 到 Tomcat， 然 后 读 取 Tomcat 应 用 堆 内 cache。 


如 果 绥 存 都 没命 中 ， 则 调用 依赖 业务 来 获取 数据 ， 然 后 异步 化 瑟 到 
Redis 集 群 。 


为 我 们 使 用 了 nginx+lua， 第 二 、 三 步 时 可 使 用 lua-resty-lock 非 阻塞 锁 
减少 峰值 时 的 回 源 量 ;， 如果 你 的 服务 是 用 尸 维度 的 ， 那 么 这 种 非 阻 突 锁 
大 部 分 情况 下 不 会 有 太 大 作用 《要 看 具体 场景 ) 。 

1.1.7 FEM 


fie “SEARS v BEF BT o 


目标 数据 数据 < TT: 
获取 时 间 lom; 





如 果品 行 获取 ， 那 么 需要 60ms。 


而 如 来 数据 C 依 赖 数 据 A 和 数据 B、 数 据 DD 谁 也 不 依赖 、 数 据 E 依 赖 数 据 
C， 那 么 我 们 可 以 这 样 来 获取 数 扼 。 


如 采 并 发 化 获取 ， 则 需要 30ms， 能 提升 一 倍 的 性 能 。 
假设 数据 E 还 依赖 数据 F “5ms) ， 而 数据 F 古 在 数据 E 服 务 中 获取 的 ， 此 


时 ， 束 可 以 考虑 在 此 服务 中 取 数 据 A/B/D 时 ， 预 取 数 据 F， 那 么 整体 性 
HE LAE 7325ms. 


1.2. mA Rw 
1.2.1 ”降级 


对 于 一 个 高 可 用 服务 ， 很 重要 的 一 个 设计 束 是 降级 开关 ， 在 设计 降级 开 
关 时 ， 主 要 依据 如 下 思路 。 


1. 开 关 集 中 化 管理 : 通过 推送 机 制 把 开关 推送 到 各 个 应 用 。 







配置 中 心 系统 











订单 中 心服 务 订单 中 心服 务 





订单 中 心服 务 


2. 可 降级 的 多 级 读 服务 ， 比 如 服务 调用 降级 为 只 读本 地 缓存 、 只 读 分 布 
式 缓存 、 只 读 默 认 降级 数据 〈 如 库存 状态 默认 有 货 ) 。 




















推送 开关 配置 信息 i - | 
配置 中 心 系统 | 
订单 中 心服 务 
< ICONE | 
T 本 地 缓存 DTI. | 
| 托 底数 据 
2) H 
—^ Redis? f£ | 





3. 开 关 前 置 化 : 如 架构 是 Nginx Tomcat， 可 以 将 开关 前 置 到 Nginx 接 入 
层 ， 在 Nginx 层 做 开关 ， 请 求 流量 回 源 后 端 应 用 或 者 只 是 一 小 部 分 流量 
器 源 。 


推送 开关 配置 信息 











OpenResty(nginx+lua) 


降级 后 不 回 源 Tomcat 集 群 ， 
或 者 只 有 一 小 部 分 流量 访问 





Tomcat 集 和 群 





4. 业 务 降 级 : 当局 并 有 友 沉 量 来 委 ， 在 电 丙 系统 大 促 设 计时 保障 用 户 能 
单 、 能 文 付 是 核心 要 求 ， 并 你 障 数据 最 终 一 致 性 即 可 。 这 样 束 可 以 把 一 
些 同步 调用 改 成 异步 调用 ， 优 先 处 理 高 优先 级 数据 或 特殊 特征 的 数据 ， 
合理 分 配 进 入 系统 的 流量 ， 以 你 障 系 统 可 用 。 


1.2.2 DR 


限 流 的 目的 是 防止 恶意 请 求 流 量 、 亚 意 攻击 ， 或 者 防止 流量 超出 系统 峰 
É. FY VAS RS UP EER 


Ligeia Rite IH yj In) $llcache. 
226] F SF 355 81] Fs P IZ FH I] Ce: HJ DAS E f H Nginx HJ limit Ec Ab 3 
3. 对 于 恶意 也 可 以 使 用 nginx denyitt4T BE iic - 


原则 是 限制 流量 穿 透 到 后 端 济 弱 的 应 用 层 。 

1.2.3. UJ 

对 于 一 个 大 型 应 用 ， 切 流量 是 非常 重要 的 ， 比 如 多 机 房 环 境 下 某 个 机 房 
ET, KENILE, KERARI, MWER, P 
使 用 如 下 手段 进行 切换 。 

1.DNS: 切换 机 房 入 口 。 


2.HttpDNS: ZAPP x b. fe Pima BU UBND. Sexe m 
LocalDNS 并 实现 更 精准 流量 调度 。 


3.LVS/HaProxy: 切换 故障 的 Nginx 接 入 层 。 
4.Nginx: 切换 故 隐 的 应 用 层 。 


另外 ， 有 些 应 用 为 了 更 方便 切换 ， 还 可 以 在 Nginx 接 入 层 做 切换 ， 通 过 
Nginx 进 行 一 些 流量 切换 ， 而 没有 通过 如 LVS/HaProxy 做 切换 。 


1.2.4 HJE 


版 本 化 的 目的 是 实现 可 审计 可 妃 溯 ， 并 且 可 回访 。 当 程序 或 数据 出 钳 
时 ， 如 朵 有 版 本 化 机 制 ， 那 么 就 可 以 通过 回 深 恢 复 到 最 近 一 个 正确 的 版 
本 ， 比 如 事务 回 深 、 代 人 码 库 回 深 、 部 闭 版 本 回 深 、 数 据 版 本 回 深 、 衣 态 
资源 版 本 回 深 等 。 退 过 回 深 机 制 可 你 证 系统 条 些 场景 下 的 局 可 用 。 


本 书 将 介绍 通过 负载 均衡 和 反 回 代理 实现 分 流 ， 通 过 限 法 保 护 服 务 免 受 
雪 有 骨 之 灾 ， 通 过 降级 实现 部 分 可 用 、 有 损 服 务 ， 通 过 隅 离 实 现 故 障 隐 

离 ， 通 过 设置 合理 的 超时 与 重 试 机 制 避 免 请 求 扒 积 造 成 雪 朋 ， 通 过 回 滚 
it 上 述 原 则 用 来 你 护 系 统 ， 往 往 能 实现 系统 局 可 


1.3 ”业务 设计 原则 
这 些 原则 本 书 只 进行 简单 介绍 ， 不 会 展开 讲解 ， 大 家 可 以 自行 研究 学 


M 


1.3.1 [/; E x 


比如 ， 结 算 页 需要 考虑 重复 提交 ， 还 有 如 下 单 扣 减 库存 时 需要 防止 重复 
扣 减 库存 。 解 决 方案 可 以 考虑 防 重 key、 防 重 表 。 而 有 些 场景 如 重复 文 
Bt, se VA AY FE re PYAR SC RP SCT. RR ARSC, BRIE AN PRE 
无 法 防止 重复 文 付 的 。 但 是 ， 在 系统 设计 时 ， 需 要 将 文 付 的 每 笔 情 况 记 
录 下 来 。 下 岁 是 笔 着 在 系 东 便 用 页 东 文 付 和 微 信 文 付 模 拟 的 重复 文 付 忆 
后 进行 退 蒜 的 文 付 明 细 。 





SOM: ¥125.60 


s DE sii 银行 卡 : ¥62.80 
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13.2 3S Wi 


FERRARA, ZERWANE, TURCA TB EIA A DUE AI RCE 
EZ YE AYE Su. DAD. nu BEML AR ELTE BAS YE Ie 1H Be EN E11 6 Ah 
理 。 还 有 在 使 用 第 三 方 文 付 时 ， 第 三 方 文 付 会 进行 异步 回调 ， 也 要 考虑 
做 好 回调 的 暴 等 处 理 。 


1.3.3 ”流程 可 定义 


如 条 接触 过 保险 业务 ， 吏 会 及 现 不 同 你 险 的 理财 服务 是 不 一 样 的 。 我 们 
在 系统 设计 时 就 设计 了 一 僚 理赔 流程 服务 。 而 承 你 流程 和 理赔 流程 是 分 
离 的 ， 在 需要 时 进行 关联， 从 而 可 以 复 用 一 些 理赔 流程 ， 并 提供 个 性 化 
的 理赔 流程 。 


1.3.4. 状态 与 状态 机 


在 设计 交易 订单 系统 时 ， 会 存在 正 癌 状态 (每 付 蒜 、 答 及 人 负 、 已 发 代 、 
TR) AME [RpAG CGA. XGA 等 ， 正 同 状 态 和 逆 问 状态 应 该 根据 系 
统 的 特征 来 次 定 要 不 要 分 离 人 存储。 状态 设计 时 应 有 状态 轨迹 ， 方 便 用 户 
跟 踩 当前 订单 的 轨迹 并 记录 相关 日 过， 万 一 出 问题 时 可 回调 问题 。 


妨 外 ， 还 有 订单 状态 的 变迁 ， 比 如 竺 文 付 、 已 文 付 街 肥 仙 、 行 收 货 、 完 
成 的 迁移 。 要 考 夸 要 不 要 使 用 状态 机 来 张 动 状态 的 变更 和 后 续 流程 节操 


操作 ， 尤 其 当 状 态 很 多 的 时 候 使 用 状态 机 能 更 好 地 控制 状态 迁移 。 


还 要 考虑 并 发 状态 修改 问题 ， 如 一 个 订单 同时 只 能 有 一 个 修改 ， 状 态 变 
更 的 有 序 问题 ， 以 及 状态 变更 消息 的 先 到 后 到 问题 ， 如 支付 成 功 消 息 和 
用 户 取消 消息 的 时 间 差 。 


1.3.5 ”后台 系统 操作 可 反馈 


在 笔者 接触 过 的 系统 中 ， 很 多 场景 部 需要 反馈 ， 比 如， 修改 了 祭 些 内 容 
后 想 预 响 看 看 最 终 效 永 ， 即 四 得 到 一 些 反 馈 :， 还 有 一 些 是 在 规则 系统 
中 ， 和 希望 看 到 这 些 规则 在 系统 数据 下 的 反 饿 。 因 此 ， 在 设计 后 合 系统 
时 ， 需 考 碟 效 朱 的 可 预 响 、 可 反馈 。 


1.3.6 ”后台 系统 审批 化 


对 于 有 些 重要 的 后 台 功 能 需要 设计 审批 流 ， 比 如 调整 价格 ， 并 对 操作 进 
行 日 专 记 录 ， 从 而 保证 操作 可 退 调 、 可 审计 。 


1.3.7 ”文档 和 注释 


笔者 接触 的 一 些 系统 是 完全 没有 文档 、 代 人 码 没 有 注释 的 ， 完 全 是 人 传 

人 人。 这 将 导致 后 来 人 接手 很 痛 音 ， 而 且 对 有 些 代 码 是 完全 不 敢 改 动 的 ， 
比如 ， 有 些 代 码 完 全 是 因为 业务 的 一 些 特殊 情况 而 写 的 ， 可 以 说 没有 注 
释 是 完全 不 懂 为 什么 那么 做 的 。 因 此 ， 在 一 个 系统 发 展 的 一 开始 就 应 该 
有 文档 库 (设计 架构 、 设 计 思 想 、 数 据 字 — 典 /业务 流程 、 现 有 问题 )， 

业务 代码 和 特殊 需求 都 要 有 注释 。 


1.3.8 备份 


包 插 代码 和 人 员 。 代 但 主要 提交 到 代码 仓库 进行 管理 和 备份 ， 代 但 仓 谭 
应 该 全 少 具 符 多 厂 本 的 功能 。 人 员 备 份 指 的 是 一 个 系统 全 少 应 该 有 两 名 
开 及 人 员 是 了 解 的 ， 即 便 其 中 一 名 离职 了 也 不 会 出 现 新 人 接手 之 后 手 愤 
脚 乱 事 政 频 友 的 状况 。 还 有 一 些 是 “核心 人 员 ”， 写 看 系统 的 核心 代码 ， 
秘 认为 古 “ 不 可 从 代 的 "， 这 种 情况 也 十 尽 可 能 地 让 他 市 一 名 兄 第 一 起 开 
BIZ UG RS) ， 即 使 离职 也 还 是 可 以 努力 一 下 殉 服 困难 。 


1.4 MZ 

对 于 一 个 系统 设计 来 说 ， 不 仅 需 要 考虑 实现 业务 功能 ， 还 要 你 证 系统 融 
并 友 、 局 可 用 、 局 可 徘 等 。 在 系统 容量 规划 流量、 容量 等 ) 、SLA 制 
定 〈 奉 吐 量 、 啊 应 时 间 、 可 用 性 、 降 级 方 采 等 ) 、 压 训 方 案 《〈 线 上 、 线 
ES) n RERE 机 侣 负载 、 啊 应 时 间 、 可 用 从 每 ) 、 应 急 预 条 〈 容 
Ky PER. BR. BA WE AIRE) 等 方面 ， 也 要 有 一 些 原 则 
来 指导 大 和 家。 其 中 ， 每 一 个 方 同 都 是 很 复杂 的 ， 为 了 能 讲解 地 较为 深 

入 ， 本 书 将 从 六 并 友和 向 可 用 两 个 方面 来 讲解 ， 并 配合 采 例 实战 使 读者 
能 参考 和 案例， 来 理解 这 些 原 则 并 解决 系统 痛 上 后 。 


本 书 将 介绍 缓和 企 、 腊 步 并 及 、 连 接 池 、 线 程 池 、 如 何 扩容 、 消 筷 队 列 、 
分 布 式 任务 等 局 并 友 原 则 来 迫 升 系统 行 吐 量 。 


本 书 将 介绍 通过 负载 均衡 和 反 辐 代理 实现 分 流 ， 通 过 限 流 保护 服务 免 受 
雪 骨 之 灾 ， 通 过 降级 实现 部 分 可 用 、 有 损 服 务 ， 通 过 隅 离 实现 故障 陋 

离 ， 通 过 设置 合理 的 超时 与 重 试 机 制 避 免 请 求 扒 积 造 成 雪 朋 ， 通 过 回 滚 
机 制 快速 修复 错误 厂 本 ; 退 过 上 述 原 则 来 你 护 系 统 ， 使 得 系统 高 可 用 。 


健康 检查 机 制 “|” 负载 均衡 一 


int rim j— 


接 入 层 限 流 
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同步 阻塞 调用 
异步 Future 
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异步 编排 CompletableFuture 


请 求 缓存 
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任务 系统 扩容 ( Elastic-Job ) 
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缓冲 队列 /任务 队列 /消息 队列 
请 求 队列 /数据 总 线 队 列 


Disruptor+ Redis 队 列 
基于 Canal 实 现 数据 异 构 


2 负载 均衡 与 反问 代理 


当 我 们 的 应 用 单 实例 不 能 文 撑 用 户 请 求 时 ， 此 时 残 需要 扩容 ， 从 一 人 台 服 
务 絮 扩容 到 两 台 、 几 十 台 、 几 百 台 。 然 而 ， 用 户 访 问 时 是 通过 如 
http://www.jd.com 的 方式 访问 ， 在 请 求 时 ， 浏 唤 兹 自 先 会 查询 [DNS 服 务 
促 获 取 对 应 的 耻 ， 然 后 通过 此 IP 访 问 对 应 的 服务 。 


因此 ， 一 种 方式 是 www.jd.com 域 名 映射 多 个 IP， 但 是 ， 存 在 一 个 最 简单 
的 问题 ， 假 设 某 台 服务 器 重启 或 者 出 现 故 障 ，DNS 会 有 一 定 的 缓存 时 
间 ， 故 障 后 切换 时 间 长 ， 而 且 没 有 对 后 端 服务 进行 心跳 检查 和 失败 重 试 
的 机 制 |。 

因此 ， 外 网 DNS 应 该 用 来 实现 用 GSLB (全 局 负载 均衡 ， 进行 流量 调 
上 度 ， 如 将 用 户 分 配 到 离 他 最 近 的 服务 右上 以 提升 体验 。 而 且 当 某 一 区 域 
的 机 房 出 现 问 题 时 〈 如 被 挖 断 了 光缆 ) ， 可 以 通过 DNS 指 癌 其 他 区 域 的 
IP 来 使 服务 可 用 。 


可 以 在 站 长 之 家 使 用 “DNS 查 询 ”"， 查 询 c.3.cn 可 以 看 到 类 似 如 下 的 结 
R, 
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对 于 内 网 DNS， 可 以 实现 简单 的 轮 询 负 载 均 衡 。 但 是 ， 还 是 那 句 话 ， 会 
有 一 定 的 缓存 时 间 并 且 没 有 失败 重 斌 机制。 因此 ， 我 们 可 以 考 碟 选择 如 
HaProxy 和 Nginx。 


而 对 于 一 般 应 用 来 说 ， 有 Nginx 了 驶 可 以 了 。 但 Nginx 一 般 用 于 七 层 负载 均 


衡 ， 其 吞吐 量 是 有 一 定 限 制 的 。 为 了 提升 整体 吞吐 量 ， 会 在 DNS 和 
Nginx 之 间 引 入 接 入 层 ， 如 使 用 LVS 〈 软 件 负载 均衡 器 ) 、F5 MEAE 


均衡 器 ) 可 以 做 四 层 负 载 均衡 ， 即 首先 DNS 解 析 到 LVS/F5， 然 后 
LVS/E5 转 发 给 Nginx， 再 由 Nginx 转 发 给 后 端 Real Server. 


MEA ———1. www.jd.com—> 
bI 9, dir | DNS 
|«&———2. 106.39.178.1 


3. 106.39.178.1 
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对 于 一 般 业 务 开发 人 员 来 说 ， 我 们 只 需要 关心 到 Nginx 层 面 束 够 了 ， 
LVS/F5 一 般 由 系统 / 运 维 工程 师 来 维护 。Nginx 目 前 提供 了 

HTTP (ngx http upstream module) 七 层 负 载 均衡 ， 而 1.9.0 版 本 也 开始 
X RFICP (ngx stream upstream module) 四 层 负载 均衡 。 


此 处 再 澄清 几 个 概念 。 二 层 负 载 均 衡 是 通过 改写 报 文 的 目标 MAC 地 址 
为 上 游 服 务 器 MAC 地 址 ， 源 IP 地 址 和 目标 IP 地 址 是 没有 变 的 ， 负 和 载 均衡 
服务 器 和 真实 服务 器 共享 同一 个 VIP， 如 LVS DR 工作 模式 。 四 层 负 载 均 
衡 是 根据 端口 将 报 文 转发 到 上 游 服 务 右 (不 同 的 IP 地 址 + 端口 ， 如 
LVS NAT 模 式 、HaProxy， 七 层 人 负载 均衡 是 根据 端口 号 和 应 用 层 协议 如 
HTTP 协 议 的 主机 名 、URL， 转 发 报 文 到 上 游 服 务 右 (不 同 的 JP 地 址 + 六 
口 ) ， 如 HaProxy、INginx。 


这 里 再 介绍 一 人 LVS DR 工作 模式 ， 其 工作 在 数据 链 路 层 ，LVS 和 和 上游 
服务 右 共 圣 同 一 个 VIP， 通 过 改写 报 文 的 目标 MAC 地 址 为 上 洲 服 务 禹 
MAC 地 址 实现 负载 均衡 ， 上 游 服务 需 直接 啊 应 报 文 到 客户 亲 ， 不 经 过 
LVS， 从 而 提升 性 能 。 但 因为 LVS 和 上 游 服 务 器 必须 在 同一 个 子 网 ， 为 
了 解决 跨 子 网 问题 而 叉 不 影响 负载 性 能 ， 可 以 选择 在 LVS 后 边 挂 
HapProxy， 通 过 四 到 七 层 负载 均衡 硕 HaProxy 集 群 来 解决 路 网 和 性 能 问 
题 。 这 两 个 “半成品 ”的 东西 相互 取长补短 ， 组 合 起 来 就 变 成 了 一 个 “ 完 
整 2 的 负载 均衡 器 。 现 在 Nginx 的 stream 也 文 持 TCP， 所 以 Nginx 也 算是 一 
个 四 到 七 层 的 负载 均衡 器 ， 一 役 场 景 下 可 以 用 Nginx 取 代 HaProxy。 


在 继续 讲解 之 前 ， 首 先 统一 几 个 术语 。 接 入 层 、 反 向 代理 服务 器 、 负 载 
均衡 服务 左 ， 在 本 文中 如 无 特殊 说 明 则 指 的 是 Nginx。upstream server 
上 游 服 务 嚣 ， 指 Nginx 人 负载 均衡 到 的 处 理 业 务 的 服务 器 ， 也 可 以 称 之 为 
real server， 即 真实 处 理 业 务 的 服务 器 。 


对 于 负载 均衡 我 们 要 关心 的 几 个 方面 如 下 。 
上 游 服务 需 配 置 : 使 用 upstream serverit E E2625 98 o 
负载 均衡 算法 : 配置 多 个 上 游 服务 器 时 的 负载 均衡 机 制 |。 


失败 重 试 机 制 ”; ACE SRR BY PRA ae PY, ze Bi BA 
ft. EWF IRA de e 
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败 重 试 、 容 错 、 健 康 检 查 等 ， 当 某 些 上 游 服务 器 出 现 问题 时 可 以 将 请 求 
转 到 其 他 上 游 服 务 磺 以 保障 高 可 用 ， 并 可 以 通过 OpenResty 实 现 更 智能 
的 负载 均衡 ， 如 将 热点 与 非 热 点 流量 分 离 、 正 党 流量 与 爬虫 流量 分 离 
等 。Nginx 负 载 均 衡 磺 本 映 也 是 一 人 台 反 加 代理 服务 右 ， 将 用 户 请 求 通过 
Nginx 代 理 到 内 网 中 的 某 人 台 上 游 服 务 嚣 处理， 反问 代 理 服务 器 可 以 对 啊 
应 结果 进行 缓存 、 上 压缩 等 处 理 以 提升 性 能 。Nginx 作 为 负载 均衡 器 /反问 
代理 服务 器 如 下 图 所 示 。 


Upstream Server 


网 络 Upstream Server 


Upstream Server 





本 章 首 先 会 讲解 Nginx HTTP 负 载 均衡 ， 最 后 会 讲解 使 用 Nginx 实 现 四 层 
负载 均衡 。 


2.1 upstream Æ 


^^ 


第 一 步 我 们 需要 给 Nginx 配 置 上 洲 服 务 嚣 ， 即 负载 均衡 到 的 真实 处 理 业 
务 的 服务 左 ， 通 过 在 http 指 令 下 配置 upstream 即 可 。 


upstream backend { 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight-; 
j 


upstream server 的 主要 配置 如 下 。 
IPGL AG: 配置 上 游 服务 器 的 卫 地 址 和 问 口 。 
NE: weight 用 来 配置 权重 ， 默 认 都 是 1， 权 重 越 高 分 配给 这 全 服务 需 
的 请 求 束 越 多 (如 上 配置 为 每 三 次 请 求 中 一 个 请 求 转发 给 9080， 其 余 两 
个 请 求 转 有 给 9090) ， 需 要 根据 服务 器 的 实际 处 理 能 力 设置 权重 〈 比 
如 ， 物 理 服 务 硕 和 虚拟 机 融 需 要 不 同 的 权重 ) 。 
然后 ， 我 们 可 以 配置 如 下 proxy_pass 来 处 理 用 户 请 求 。 

location / 4 


proxy pass http://backend; 
} 


当 访 问 Nginx 时 ， 会 将 请 求 反 回 代 理 到 backend 配 置 的 upstream server. $% 
下 来 我 们 看 一 下 负载 均衡 算法 。 


2.2 ”负载 均衡 算法 


负载 均衡 用 来 解雇 用 三 请 求 到 来 时 如 何 选 择 upstream — server 进行 处 理 ， 
FRU A Zéround-robin (#6) ， 同 时 支持 其 他 几 种 算法 。 


:round-robin: 轮 询 ， 默 认 负 载 均衡 算法 ， 即 以 轮 询 的 方式 将 请 求 转发 
到 上 洲 服 务工 ， 通 过 配合 weight 配 置 可 以 实现 基于 权重 的 轮 询 。 


"ip hash : 根据 客户 由 进行 负载 均衡 ， 即 相同 的 耳 将 负载 均衡 到 同一 个 


upstream server- 


upstream backend { 
ip hash; 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2; 
} 


: hash key [consistent]: ”对 茶 一 个 key 进 行 哈 希 或 者 使 用 一 致 性 哈 布 算法 
进行 负载 均衡 。 使 用 Hash 算 法 存在 的 问题 是 ， 当 添加 /删除 一 台 服 务 堪 
时 ， 将 导致 很 多 key 被 重新 负载 均 衔 到 不 同 的 服务 器 《〈 从 而 导致 后 端 可 
能 出 现 问题 》; 因此， 建议 考虑 使 用 一 致 性 哈 硕 算法 ， 这 样 当 还 加 / 删 
除 一 台 服 务 器 时 ， 只 有 少数 key 将 被 重新 负载 均衡 到 不 同 的 服务 右 。 





险 希 算法 : ”此 处 是 根据 请 求 uri 进 行 负载 均衡 ， 可 以 使 用 Nginx 变 
量 ， 因 此 ， 可 以 实现 复杂 的 算法 。 


upstream backend { 
hash Suri; 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2; 





B 


一 致 性 哈 希 算法 : consistent_keyZ) AS THE -o 


upstream nginx local server | 
hash Sconsistent key consistent; 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2; 
} 


如 下 location 指 定 了 一 致 性 哈 希 key， 此 处 会 优先 考虑 请 求 参 数 cat (类 
目 )， 如 果 没 有 ， 则 再 根据 请 求 uri 进 行 负载 均衡 。 


location / { 
set Sconsistent key Sarg cat; 
if (Sconsistent key = "") i 
set Sconsistent key $request uri; 


} 
而 实际 我 们 是 通过 Lua 设 置 一 致 性 哈 希 key。 
set. by lua flle Scaensistent key “lua balancing. ta"; 


lua_balancing.1lua 代码 。 


local consistent key = args.cat 

LL Hot Gonsistent key or consistent key == '' Then 
COnsLStent, key = ngx Var. request, uf 

end 

local value = balancing cache%sger (consistent key) 


if not value then 


success, err = balancing cache:set (consistent key, 1, 60) 
else 
newval, err = balancing cache siner(consiatent key, 1) 


end 


WRAP RIR BARK, EPRA ah ReH [3X0 ASK: 
此 时 可 以 在 一 致 性 哈 希 key 后 加 上 递增 的 计数 以 实现 类 似 轮 询 的 算法 。 


if newval > 5000 then 
consistent key - eonsistent key .. ' ' .. newval 





end 


least conn : KERK Maly Malm GROEN Eds a. URE 
置 的 服务 器 较 少 ， 则 将 转 而 使 用 基于 权重 的 轮 询 算 法 。 


Nginx 了 商业 版 还 提供 了 least_time， 即 基于 最 小 平均 啊 应 时 间 进 行 负 载 均 
衡 。 


2.3 ”失败 重 试 


主要 有 两 部 分 配置 : upstream serverfllproxy_pass. 


upstream backend { 
server 192,168.61, 139000 max fails-2 fall timeout-l0s weight-l; 
server 192,.168,61,.1:9090 max fails=2 Tall timeout-10s5s weight=1; 
} 


通过 配置 上 游 服 务 器 的 max fails 和 fail timeout， 来 指定 每 个 上 游 服务 
as, fail timeoutl^] [E] A Wr y max fails/XigsK, DU TJ EUER AS #8 
Au RANGER. PRES PRU LEVERS SS, fail_timeoutl} H Ja 45 AVC 
VE BE AS Ah A SESS EXE ARS RV RETI EN o 


location /test { 
proxy connect timeout 38; 
proxy read timeout 5s; 
proxy send timeout 5s; 


proxy next upstream error timeout; 
proxy next upstream timeout 10s; 
proxy next upstream tries 2; 


proxy pass http://backend; 
add header upstream addr Supstream addr; 


然后 进行 proxy_next_upstream 相 关 配 置 ， 当 遇 到 配置 的 错误 时 ， 会 重 试 
BB ERAS 28. 


详细 配置 请 参考 第 6 章 中 代理 层 超时 与 重 试 机 制 的 Nginx 部 分 。 
2.4 ”健康 检查 


Nginx 对 上 游 服 务 颖 的 健康 检 枉 默认 及 用 的 是 悄 性 人 案 略 ，Nginx 丙 业 版 所 
供 了 health_check 进 行 主动 健康 检查 。 当 然 也 可 以 集成 
nginx upstream, check module 

( https://github.com/yaoweibin/nginx upstream check module) 模块 来 进 


行 主动 健康 检查 。 


nginx upstream check module3xc FFTCP Ù Pk AIH TT Pt Bk Sz XI ER 


fr. 


2.441 TCP/» EE A 


upstream backend { 

server 192.168.61.1:9080 weight=1; 

server 192.168.61.1:9090 weight=2; 

check interval=3000 rise-1 fall=3 timeout=2000 type-tcp; 
} 


此 处 配置 使 用 TCP 进 行 心跳 检测 。 
interval: ”检测 则 隔 时 间 ， 此 处 配置 了 每 隔 3s 检 测 一 次 。 
fall: 检测 失败 多 少 次 后 ， 上 游 服 务 器 被 标识 为 不 存活 。 


vise: MRED, ERRI AERIS Ja AARET 


‘timeout: 检测 请 求 超时 时 间 配 置 。 
24.2 HTTP 心跳 检查 


upstream backend 1 


server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2; 


check interval=3000 rise-1 fall=3 timeout-2000 type=http; 


check Http send "HEAD /status HTTP/Il.0VfYXnVr Vn"; 
check http expect alive http Z2xx http 3xx; 


HTTP 心 跳 检 查 有 如 下 两 个 需要 额外 配置 。 
: check_http_send:” 即 检查 时 发 的 HTTP 请 求 内 容 。 


check http expect alive: ” 当 上 洲 服 务 占 返回 思 配 的 啊 应 状态 码 时 ， 


WAAL LEDER 48 FFG o 


此 处 需要 注意 ， 检 查 间 隅 时 间 不 能 太 短 ， 人 否则 可 能 因为 心跳 检查 包 太 多 
造成 上 游 服务 器 挂 反 ， 同 时 要 设置 合理 的 超时 时 间 。 


本 文 使 用 的 是 openresty1.11.2.1《〈 对 心 nginx-1.11.2) , Z NginxZ Bil mi 
要 先 打 nginx_upstream_check_module 补 丁 《〈《check_1.9.2+.patch) ， 到 
Nginx 目 录 下 执行 如 下 shell: 


patch -p0 < /usr/servers/nginx upstream check module- 
master/check_1.9.2+.patch. 


如 果 不 安 装 补丁 ， 那 么 nginx_upstream_check_module 模 块 是 不 工作 的 ， 
EIE H wireshark E EE RER LIE. 


25 ”其 他 配置 
2.5.1 域名 上 游 服 务 器 


upstream backend { 
server cO0.3.cn; 
server cl.3j.cn; 


} 


在 Nginx 社 区 版 中 ， 是 在 Nginx 解 析 配 置 文件 的 阶段 将 域名 解析 成 卫 地 址 
并 记录 到 upstream 上 ， 当 这 两 个 域名 对 应 的 IP 地 址 发 生变 化 时 ， 该 
upstream 不 会 更 新 。Nginx 商 业 版 才 文 持 动态 更 新 。 


不 过 ，proxy_pass http://c0.3.cn 是 支持 动态 域名 解析 的 。 


2.5.2 ”备份 上 游 服 务 器 


upstream backend { 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2 backup; 
} 


T9090 H E35: ARS se AC Ae EARS SS. SATA XE DURAS se DAP 


存活 时 ， 请 求 会 园 友 给 备 上 游 服 务 规 。 


如 通过 纺 容 上 六 服务 右 进 行 压 测 时 ， 要 摘 反 一 些 上 游 服务 耸 进 行 压 测 ， 
(AA T tale LSA ee ERA ae, SMW PARA Ar EE Pe 
Hf. Pits AY DAS Ac Bll gh EE AR A AR. AAT AS HI Tg ie Ach 


2.5.3 ASH] H EVRA as 


upstream backend { 
server 192.168.61.1:9080 weight=1; 
server 192.168.61.1:9090 weight=2 down; 
} 


9090 尊 口上 游 服 务 占 配置 为 永久 不 可 用 ， 妆 测试 或 者 机 妖 出 现 故 障 时 ， 
暂时 通过 该 配置 临时 摘 掉 机 器 。 


2.6 ”长 连接 


此 处 只 涉及 如 何 配置 Nginx 与 上 游 服 务 硕 的 长 连接 ， 而 客户 疹 与 Nginx 之 
间 的 长 连接 可 以 参考 位 置 第 6 草 的 相应 部 分 。 
可 以 通过 keepalive 指 令 配置 长 连接 数量 。 
upstream backend { 
server 192.168.61.1:9080 weight-1; 


server 192.168.61.1:9090 weight-2 backup; 
keepalive 100; 


} 

通过 访 指 令 配 置 了 每 个 Worker 进 程 与 上 游 服 务 器 可 绥 存 的 空 采 连接 的 最 
大 数量 。 当 超出 这 个 数量 时 ， 最 近 最 少 使 用 的 连接 将 被 关闭 。keepalive 
指令 不 限制 Worker 进 程 与 上 游 服 务 器 的 总 连接 。 


如 来 想 要 跟 上 游 服 务 右 建立 长 连接 ， 则 一 定 列 瑟 了 以 下 配置 。 


Legation z 4 
# 文 持 keep-alive 
proxy http version 1.1; 
proxy ser header Connection ""; 
proxy pass http://backend; 


如 果 是 http/1.0， 则 需要 配置 发 送 “Connection: Keep-Alive” 请 求 头 。 
上 游 服 务 絮 不 要 忘记 开启 长 连接 支持 。 


接 下 来 ， 我 们 看 一 下 Nginx 是 如 何 实现 keepalive 的 
(ngx http upstream keepalive module) ， 获 取 连 接 时 的 部 分 代码 。 


ngx http upstream get keepalive peer(ngx peer connection t *pc, 
void *data) { 
//1. Hola] 63905 8 SE S His. CLP 和 端口 ) 
= kp->original get peer(pc, kp-»data); 


cache = &kp->conf->cache; 

//2. Sei] “空闲 连接 闻 ” 

for (q = ngx queue head(cache); 
q != ngx queue sentinel (cache); 
q = ngx queue next (q)) 


item = ngx queue data(q, ngx http upstream keepalive cache t, queug) 
c = item-»connection; 


/[2.1. 如 果 “ 空 闲 连 接 池 ” 绥 存 的 连接 IP 和 端口 与 负载 均衡 到 的 IP 和 端口 相同 ， 
// 则 使 用 此 连接 
if (nx memn2cmp((u char *) &it@->sockaddr, (uchar*) pe>sockaddr, 
item->socklen, pc->socklen) == 0) { 
//2.2 从 “ 空 内 连接 池 ” 移 除 此 连接 并 压 入 “释放 连接 池 ” 栈 项 
ngx queue remove (q); 
ngx queue insert head(&kp->conf->free, q); 


goto found; 


} 
//3. 如 条 “空闲 连接 凶 ” 没 有 可 用 的 长 连接 ， 将 创建 短 连接 


return NGX OK; 
释放 连接 时 的 部 分 代码 如 下 。 


ngx http upstream free keepalive peer(ngx peer connection t *pc, 
void *data, ngx uint t state) { 
c = pc->connection;// 当 前 要 释放 的 连接 
//1. 如 末 “ 释 放 连 接 池 ”没有 符 释 放 和 连接 ， 那 么 需要 从 “ 空 内 连接 池 ” 腾 出 一 个 空间 给 新 
// 的 连接 使 用 (这 种 情况 存在 于 创建 连接 数 超 出 了 连接 池 大 小 时 ， ee 
if (ngx queue empty(&kp->conf->free)) { 
q = ngx queue last(&kp-»conf-»cache); 
ngx queue remove (q); 
item - ngx queue data(q, ngx http upstream keepalive cache t, 
queue); 
ngx http upstream keepalive close(item->connection) ; 
} else (//2. 从 “释放 连接 池 ” 释 放 一 个 连接 
q = ngx queue head(&kp-»conf-»free); 
ngx queue remove (q); 
item - ngx queue data(q, ngx http upstream keepalive cache t, 
queue); 
| 
//3. 将 当前 连接 压 入 “ 空 内 连接 池 ” 栈 项 供 下 次 使 用 
ngx queue insert head(&kp->conf->cache, q); 
item->connection = c; 


总 长 连接 数 是 “ 空 闪 连接 池 ”+“ 释 放 连 接 池 ”的 长 连接 忆 数 。 首 先 ， 长 连 
接 配置 不 会 会 限制 Worker 进 程 可 以 打开 的 总 连接 数 〈 超 了 的 作为 短 连 
fe) 。 另 外 ， 连 接 ; 一 定 要 根据 实际 场景 合理 进行 设置 。 


空闲 连接 池 太 小 ， 连 接 不 够 用 ， 需 要 不 断 建 连接 。 
空 采 连接 凶 太 大 ， 空 朵 连接 太 多 ， 还 没 使 用 残 超 时 。 
万 外 ， 建 议 只 对 小 报 文 开局 长 连接 。 


2.7 HTTP 反问 代 理 示 例 


E SN STE DEW EO ub EDs CAS s BJ J 


1. 全 局 配置 (proxy cache) 


proxy buffering on; 

proxy buffer size Ak; 

proxy buffers 512 4k; 

proxy busy buffers size 64k; 

proxy temp file write size 256k; 

proxy cacne lock on; 

proxy cache lock timeout 200ms; 

proxy temp path /tmpfs/proxy temp; 

proxy cache path /tmpfs/proxy cache levels-1:2 keys zone 


=cache:512m inactive-5m max size=8g; 
proxy connect timeout 3s; 
proxy read timeout 28; 
proxy send timeout 28; 


开局 proxy buffer， 绥 存 内 容 将 存放 在 tmpfs《〈 内 存 文 件 系 统 ) 以 提升 性 
Hé. x ELE I] TA). 


2.locationli Ei 


location ~ ^/backend/(.*)9 4 

HEE- SERE NIT key 

set by lua file $consistent key "/export/App/c.3.cn/lua/lua_ 
balancing backend.properties"; 

# 失 败 重 试 配置 

proxy next upstream error timeout http 500 http 502 http 504; 

proxy next upstream timeout 2s; 

proxy next upstream tries 2; 


Hk Et oS ds EHI GET 方法 〈 不 管 请 求 是 什么 方法 ) 
proxy method GET; 

t8 EUER OS d FEX TH OR TA 

proxy pass request body off; 


} 


# 不 给 上 洲 服 务 右 传递 请 求 头 

proxy pass request headers off; 
CELER AS is DP] DAE UJ SAS BOIS Re i 
proxy Hide Header Vary; 

# 文 持 keep-alive 

proxy http version l.l; 

proxy ser header Connection "y 

#25 CUFIRD #871 Referer, Cookie 和 Host〔 按 需 传递 ) 
proxy set header Referer Fhttp referer? 
proxy set header Cookie Shttp cookie; 
proxy ser header Host. WED: Ca3: local; 

proxy pass http://backend /$1Sis argsSargs; 


我 们 开局 S proxy. pass request body^lilproxy pass request headers, 4415 


I] EWR d PX SK GLORIA ARIS, Meat EUR EIR 88 DS SE ESL 
击 ， 也 不 需要 解析 ; WR mR, JE A proxy_set_header{% ri f 325 B 
AY. 
我 们 还 可 以 通过 如 下 配置 来 开启 gzip 支 持 ， 减 少 网 络 传输 的 数据 包 大 
小 。 

gzip orng 

gzip min length lk; 

gzip buffers 16 16k; 

gzip http version 1.05 

gzip proxied any; 

gzip comp level 2j 

gzip types text/plain application/x-javascript text/css 

application/xml; 
gzip vary on; 


XI T A ZS AY He] VE WF J gzip 4a, gzip comp. level 4a 2i 5] 2A HE SE 
Sy SWS ee CF Ap eZ TA RPE) 。 


2.8 HTTP 动态 负载 均衡 
如 上 的 负载 均衡 实现 中 ， 每 次 upstream 列 表 有 人 变更， 都 需要 到 服务 右 进 


行 修改 ， 首 先是 管理 容易 出 现 问 题 ， 而 且 对 于 upstream 服 务 上 线 无 法 目 
动 注册 到 nginx upstream 列 表 。 因 此 ， 我 们 需要 一 种 服务 注册 ， 可 以 将 
upstream 动 态 注册 到 Nginx 上 ， 从 而 实现 upstream 服 务 的 目 动 友 现 。 


Consul 是 一 蒜 开 源 的 分 布 式 服务 注册 与 友 现 系统 ， 退 过 HTTP API 可 以 使 
得 服务 注册 、 发 现实 现 起 来 非常 简单 ， 它 文 持 如 下 特性 。 


- 服务 注册 : ”服务 实现 者 可 以 通过 HTTP API 或 DNS 方式 ， 将 服务 注册 
llConsul。 


- 服务 发 现 : 服务 消费 者 可 以 通过 HTTP API 或 DNS 方式 ， 从 Consul 获 取 
服务 的 IP 和 PORT。 


”故障 检测 : ” 文 持 如 TCP、HTTP 等 方式 的 健康 检查 机 制 ， 从 而 当 服 务 
有 故障 时 上 自动 摘除 。 


- KVF: ”使 用 K/V 和 存储 实现 动态 配置 中 心 ， 其 使 用 HTTP 长 轮 询 实现 
变更 触发 和 配置 更 改 。 


多 数据 中 心 : 文 持 多 数据 中 心 ， 可 以 按照 数据 中 心 注 册 和 及 现 服务 ， 
uA Im 使 用 多 数据 中 心 集 群 还 可 以 避免 单数 据 中 
心 的 单 点 故障 。 


.Raft 算 法 : Consu 使 用 Raft 算 法 实现 集群 数据 一 致 性 。 


通过 Consul 可 以 管理 服务 注册 与 发 现 ， 接 下 来 需要 有 一 个 与 Nginx 部 闭 
在 同一 人 台 机 需 的 Agent 来 实现 Nginx 配 置 更 改 和 Nginx 重 局 功能 。 我 们 有 
Confd 或 者 Consul-template 两 个 选择 ， 而 Consul-template 古 Consul 官 方 所 
供 的 ， 我 们 就 选择 它 了 。 其 使 用 HTTP 长 轮 询 实现 变更 触发 和 配置 更 改 
(使 用 Consul 的 watch 命 令 实现 ) 。 世 束 是 说 ， 我 们 使 用 Consul-template 
实现 配置 模板 ， 然 后 拉 取 Consul 配 置 演 染 模板 来 生成 Nginx 实 际 配 置 。 


除 Consul 外 ， 还 有 一 个 选择 是 etcd3， 其 使 用 了 gRPC 和 protobuf 可 以 说 是 
一 个 完 点 。 不 过 ，etcd3 目 前 没有 提供 多 数据 中 心 、 故 障 检 冲 、Web 管 理 


2.8.1 Consul+Consul-template 


接 下 来 ， 让 我 们 看 一 下 如 何 来 实现 Nginx 动 态 配置 。 首 先 ， 下 图 是 我 们 
要 实现 的 架构 图 。 


p ———— — — eg ede, 负 条 均衡 一 一 一 一 

| | | 

| | | 

Y Y | 
upstream server1 upstream server2 Nginx 


3. lZU "upstream 4. HiJANginx 


— 、 注 册 / 摘 = 


Consul Server “过 -一 2、 拉 取 配 置 一 一 一 一 Consul-template 


1.2、 注 册 / 摘 除 





Consul 管 理 后 台 


首先 ，upstream 服 务 启动 ， 我 们 通过 管理 后 台 癌 Consule 注 册 服 务 。 


我 们 需要 在 Nginx 机 器 上 部 署 并 局 动 Consul-template Agent， 其 通过 长 轮 
询 监 昕 服务 变更 。 


Consul-template 监 听 到 变更 后 ， 动 态 修 改 upstream 列 表 。 


Consul-template 修 改 完 upstream 列 表 后 ， 调 用 重 局 Nginx 脚 本 重 局 
Nginx. 


整个 实现 过 程 还 是 比较 简单 的 ， 不 过 ， 实 际 生 产 环境 要 复杂 得 多 。 我 们 
使 用 了 Consul 0.7.0 和 Consul-template 0.16.0 来 实现 。 


1.Consul-Server 


首先 我 们 要 局 动 Consul-Server。 


./consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul 
-bind 0.0.0.0 -Glrzéent 0.0.0.0 


此 处 需要 使 用 data-dir 指 定 Agent 状 态 存 储 位 置 ，bind 指 定 集群 通信 的 地 
址 ，client 指 定 客 户 关 通信 的 地 址 〈 如 Consul-template 与 Consul 通 信 ) 。 
在 局 动 时 还 可 以 使 用 -ui-dir .ui 指定 Consul Web UI 目录 ， 实 现 通 过 Web 
UI 管理 Consul， 然 后 访问 如 http://127.0.0.1:8500 即 可 看 到 控制 界面 。 


() 192.168.61.129 


使 用 如 下 HTTP API 注 册 服 务 。 


curl -X PUT http://127.0.0.1:8500/v1/catalog/register -d '{"Datacenter": 
"dcl", "Node": "tomcat", "Address": "192.168.1.1","Service": {"Id" : 
"192.168.1.1:8080", "Service": "item jd tomcat", "tags": ["dev"], "Port": 
8080} }' 


curl -X PUT http://127.0.0.1:8500/v1/catalog/register -d '{"Datacenter": 
"dcl", "Node": "tomcat", "Address": "192.168.1.2","Service": {"Id" : 
"192.168.1.1:8090", "Service": "item_jd_tomcat", "tags": ["dev"], "Port": 
8090} }' 


Datacenter 指 定数 据 中 心 ，Address 指 定 服 务 卫 ，Service.Id 指 定 服 务 唯一 
标识 ，Service.Service 指 定 服务 分 组 ，Service.tags 指 定 服务 标 签 〈( 如 测试 
环境 、 预 发 环境 等 ) ，Service.Port 指 定 服务 器 端口 。 

通过 如 下 HTTP API 摘 除 服 务 。 


curl -X PUT http://127.0.0.1:8500/v1/catalog/deregister- d '{"Datacenter": 
"dc1", "Node": "tomcat", "ServiceID" : "192.168.1.1:8080" }' 


通过 如 下 HTTP API 发 现 服务 。 


curl http://127.0.0.1:8500/v1/catalog/service/item jd tomcat 


可 以 看 到 ， 通 过 这 几 个 HITP API 可 以 实现 服务 注册 与 友 现 。 更 多 API 请 
参考 https://www.consul.io/docs/agent/http.html。 


2.Consul-template 


接 下 来 我 们 需要 在 Consul-template 机 器 上 添加 一 份 配置 模板 


item.jd.tomcat.ctmpl。 


upstream item jd tomcat 1 
server 127.0.0.1:1111; # 占 位 server， 必 须 有 一 个 server， 人 否则 无 法 月 动 
{{range service “dev.item jd tomcatasdcl"]) 
server {{.Address}}:{{.Port}} weight-1; 
{ {end} } 


service 指 定格 式 为 : 标签 .服务 @ 数 据 中 心 ， 然 后 通过 循环 输出 Address 
和 了 Port， 从 而 生成 Nginx upstream 配 置 。 


司 动 Consul-template。 
/consul-template -consul 127.0.0.1:8500 ^ 


-template 
/item.jd.tomcat.ctmpl:/usr/servers/nginx/conf/domains/item.jd.tomcat:" ./resta 


4% HF] consul f& € Consul] 259-28 2 ^ *mj 38i [zi HL, template Xe “Bc EU 
板 :目标 配置 文件 :脚本 >”， 即 通过 配置 模板 更 新 目标 配置 文件 ， 然 后 调用 
脚本 重启 Nginx。 


百 接 通过 Nginx include 指 令 
将 /usr/servers/nginx/conf/domains/item. jd.tomcat 包 合 人 nginx.conf 配 置 文 


件 即 可 ，restart.sh 脚 本 代码 如 下 所 示 。 


#!/bin/bash 
ps -felgrep nginx |grep -v grep 
if [ $? -ne 0 ] 
then 
sudo /usr/servers/nginx/sbin/nginx 
echo "nginx start" 
else 
sudo /usr/servers/nginx/sbin/nginx -s reload 
echo "nginx reload" 
EL 


Ban Nginxix aa), Wash, 6x. 
3.Java 服 务 


建议 配合 Spring Boot+Consul Java Client 实现 ， 我 们 使 用 的 Consul Java 
Client 如 下 。 


<dependency> 
<groupId>com.orbitz.consul</groupId> 
<artifactId>consul-client</artifactId> 
<version>0.12.8</version> 
</dependency> 


如 下 代码 是 进行 服务 注册 与 摘除 。 


public static void main(String[] args) { 
/ /局 动向 入 容器 (如 Tomcat) 
SpringApplication.run(Bootstrap.class, args); 
/ /服务 注册 
Consul consul = Consul.builder().withHostAndPort (HostAndPort. fromString 
("192.168.61.129:8500")) .build(); 
final AgentClient agentClient = consul.agentClient(); 


String service - "item jd tomcat"; 
String address = "192.168.61.1"; 
String tag = "dev"; 
int port - 9080; 
final String serviceId = address + ":" + port; 
ImmutableRegistration.Builder builder = ImmtableRegistration.builder(); 
builder.id(serviceId).name (service) 
.address (address) .port (port) .addTags (tag); 

agentClient.register (builder.build()); 
/ | IWM 停止 时 摘除 服务 
Runtime.getRuntime() .addShutdownHook (new Thread() { 

@Override 

public void run() { 

agentClient.deregister (serviceId); 

} 

} ) ; 
| 


在 Spring Boot 司 动 后 进行 服务 注册 ， 然 后 在 JVM 停 止 时 进行 服务 摘除 。 


到 此 我 们 束 实 现 了 动态 upstream 人 负载 均衡 ，upstream 服 务 局 动 后 目 动 注 
册 到 Nginx，upstream 服 务 俘 止 时 ， 目 动 从 Nginx 上 摘除 。 


通过 Consul+Consul-template 方 式 ， 每 次 发 现 配置 变更 都 需要 reload 
nginx, 而 reload 是 有 一 定 损耗 的 。 而 且 ， 如 果 你 需要 长 连接 文 持 的 话 ， 
那么 当 reload “nginx 时 长 连接 所 在 worker 进 程 会 进行 优雅 退出 ， 并 当 访 
worker 进 程 上 的 所 有 连接 都 释放 时 ， 进 程 才 真正 退出 (表现 为 worker 进 
程 处 于 worker process is shutting down) 。 因 此 ， 如 果 能 做 到 不 reload 吏 
能 动态 更 改 upstream， 那 么 加 完 美 了 了 。 对 于 社区 版 Nginx 目 前 有 三 个 选 
择 : Tengine 的 Dyups 模 块 、 币 博 的 Upsync 和 使 用 OpenResty 的 
balancer by lua. 4/1945 H]Upsync*ConsulSEJ z/IAx $3863] 8] ,— qf X B 
使 用 其 开源 的 slardar (Consul + balancer by lua) 实现 动态 负载 均衡 。 


2.8.2 Consul+OpenResty 


使 用 Consul 注 册 服 务 ， 使 用 OpenResty _ balancer_by_lua 实 现 无 reload 动 态 
负载 均衡 ， 架 构 如 下 所 示 。 


3. balancer by lua 
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1.2、 注 册 / 摘 除 
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1. 通 过 upstream = server 司 动 /停止 时 注册 服务 ， 或 者 通过 Consul 管 理 后 台 
注册 服务 。 


2.Nginx 局 动 时 会 调用 init by_lua， 局 动 时 拉 取 配置 ， 并 更 新 到 共 再 字 
来 存储 upstream 列 表 ; 然后 通过 init =worker_by_luaki BFE AY Ze xL 
Consul 拉 取 配 置 并 实时 更 独到 共 圣 字典 。 


3.balancer_by_lua 使 用 共 吾 字典 存储 的 upstream 列 表 进 行动 态 负载 均衡 。 


dyna upstreams.lua 模块 

local http = require("socket.http") 
local ltnl2 = require("ltnl2") 
local cjson = require "cjson" 


local function update upstreams () 
local resp = {} 
http.request { 
url= 
"http://192.168.61.129:8500/v1/catalog/service/item jd tomcat", 
sink = ltnl12.sink.table (resp) 
} 


resp = table.concat (resp) 


resp = cjson.decode (resp) 


local upstreams = [i1p-2"Il27,.0,0,1", port-1111lI) 
ror 1. v in aLr (reso)! uS 

upstreams[i*l] = {ip=v.Address, port-v.ServicePort] 
end 


ngx.shared.upstream list:set("item jd tomcat", cjson.encode (upstreams)) 
end 


local function get upstreams() 
local upstreams str = ngx.shared.upstream list:get("item jd tomeat") 
end 


Local .M e 4 
update upstreams - update upstreams, 


get upstreams = get upstreams 


} 


通过 luasockets 人 查询 Consul 来 发 现 服 务 ，update_upstreams 用 于 更 新 
upstream 列 表 ，get_upstreams 用 于 返回 upstream 列 表 ， 此 处 可 以 考虑 
worker 进 程 级 别 的 缓存 ， 减 少 因为 json 的 反 序 列 化 造成 的 性 能 开销 。 


还 要 注意 我 们 使 用 的 IJuasocket 和 是 阻 宗 API， 因 为 规 至 本 书 出 版 时 ， 
OpenResty Finit ya worker by lua^^ XC fF Cosocket CROE S 
加 支持 〉， 所 以 我 们 只 能 使 用 luasocket， 但 是 ， 注 意 这 可 能 会 阻塞 我 们 
的 服务 ， 使 用 TERE, 


init * by lua 配置 
# 存 储 upstream 列表 的 共享 字典 
lua shared dict upstream list lm; 


#Nginx Master 进程 加 载 配置 文件 时 执行 ， 用 于 第 一 次 初始 化 配置 
init by lua block | 
local dyna upstreams = require “dyna upstreams"; 
dyna upstreams.update upstreams(); 
j 
#Nginx Worker 进程 调度 ， 使 用 ngx .timer.at 定时 拉 取 配置 
Init worker by lua block 4 
local dyna upstreams = require “dyna upstreams"; 
local handle = nil; 
handle = function () 
--TODO :控制 每 次 只 有 一 个 worker 执行 
dyna upstreams.update upstreams(); 
ngx.timer.at(5, handle); 
end 
ngx.timer,at(5, handle); 


} 


init worker_by_lua 是 每 个 Nginx Worker 进 程 都 会 执行 的 代码 ， 所 以 实际 
实现 时 可 考虑 使 用 锁 机 制 ， 保 证 一 次 只 有 一 个 人 处 理 配 置 拉 取 。 另 外 
ngx.timer.at 是 定时 轮 询 ， 不 是 走 的 长 轮 询 ， 有 一 定 的 时 延 。 有 个 解雇 方 
， 是 在 Nginx 上 暴露 HTTP API， 通 过 主动 推送 的 方式 解决 。 


a ae en 4. balancer_by_lua _ 
[ ~ 动态 负载 均衡 
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| 
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upstream serverl | 
1.1、 注 册 / 摘 除 Nginx 
| 32. Eu SE ar 
2、 拉 取 配 置 
1.2、 注 册 / 摘 除 





Agent 可 以 长 轮 询 拉 取 ， 然 后 调用 HTTP API 推送 到 Nginx 上 ，Agent 可 以 
部 普 在 Nginx 本 机 或 者 远程 。 


对 于 拉 取 的 配置 ， 除 了 放 在 内 存 里 ， 请 考虑 在 本 地 文件 系统 中 存储 一 
份 ， 在 网 络 出 问题 时 作为 托 撒 。 


upstream 配置 
upstream item jd tomcat { 
server 0.0.0.1; 4i server 
balancer by lua block { 
local balancer = require "ngx.balancer" 
local dyna upstreams = require "dyna upstreams"; 
local upstreams = dyna upstreams.get upstreams(); 
local ip port = upstreams[math.random(1,table.getn(upstreams)) ] 
ngx.log(ngx.ERR, "current : =============" 
math.random(1,table.getn (upstreams))) 
balahser.ser Current Peer (ib DOoFLt.1p, 1p poft,.port) 


获取 upstream 列 表 ， 实 现 目 己 的 负载 均衡 算法 ， 通 过 ngx.balancer API 进 
行动 态 设置 本 次 upstream server。 通 过 balancer_by_lua 除 可 以 实现 动态 负 
载 均衡 外 ， 还 可 以 实现 个 性 化 负载 均衡 算法 。 


最 后 ， 记 得 使 用 lua-resty-upstream-healthcheck 模 块 进行 健康 检查 。 


2.9 Nginx 四 层 负 载 均衡 


Nginx 1.9.0 厂 本 起 文 持 四 层 负载 均衡 ， 从 而 使 得 Nginx 蕉 得 更 加 强大 。 
目前 ， 四 层 软 件 负载 均衡 器 用 得 比较 多 的 是 HaProxy; 而 Nginx 也 支持 四 
层 负载 均衡 ， 一 般 场 景 我 们 使 用 Nginx 一 站 式 解 决 方案 就 够 了 。 本 部 分 
将 以 TCP 四 层 负载 均衡 进行 示例 讲解 。 


2.9.1 FER MRI 


在 默认 情况 下 ，ngx_stream_core module “是 没有 局 用 的 ， 需 要 在 安 闭 
Nginx 时 ， 添 加 --with-stream 配 置 参 数 司 用 。 


/configure --prefix-/usr/servers --with-stream 


1.stream#§ ^ 


我 们 配置 HTTP 负载 均衡 时 ， 都 是 配置 在 http 指 令 下 ， 而 四 层 负载 均衡 是 
配置 在 stream 指 令 下 。 


Stream { 
upstream mysql backend | 


} 


server 1 


2.upstream/ic Æ. 
类 似 于 http upstream 配 置 ， 配 置 如 下 。 


upstream mysql backend 1 


server 192.168.0.10:3306 max fails-2 fail timeout=10s weight=1; 
server 192.168.0.11:3306 max fails-2 fail timeout=10s weight=1; 
least conn; 


| 


进行 失败 重 试 、 情 性 健康 检查 、 负 载 均衡 算法 相关 配置 ， 与 HITP 人 负载 
均衡 配置 类 似 ， 不 再 重复 解释 。 此 处 我 们 配置 实现 了 两 个 数据 库 服务 器 
的 TCP 人 负载 均衡 。 


3.server 配 S 


server { 
# i rm H 
listen 3308; 
# 失 败 重 试 
proxy next upstream on; 
proxy next upstream timeout 0; 
proxy next upstream tries 0; 
# 超 时 配置 
上 
proxy timeout 1m; 
# 限 速配 置 
proxy upload rate 0; 
proxy download rate 0; 
t EI AS da 
proxy pass mysql backend; 

} 


listen 指 令 指 定 监 听 的 问 口 ， 默 认 TCP 协 议 ， 如 有 果 需 要 UDP ， 则 可 以 配 
H “listen 3308 udp;". 


proxy next upstream* 5 Z Bil UEZELHJHTTP $5 ast Ai, A f 
释 。proxy_connect_timeout 配 置 与 上 洲 服 务 占 连接 超时 时 | 间 ， 上 默认 60s。 
proxy_timeout 配 置 与 知己 新 或 上 游 服 务 右 连接 的 两 次 成 功 读 / 写 操作 的 超 
时 时 间 ， 如 采 超 时 ， 将 目 动 断 开 连接 ， 即 连接 存活 时 间 ， 通 过 它 可 以 释 
放 那 些 不 活跃 的 连接 ， 默 认 10 分 钟 。proxy_upload_rate 和 
proxy_download_rate 分 别 配 置 从 客户 疹 谈 数据 和 从 上 游 服 务 需 谈 数 据 的 
RK, FANART a, BRUNO, AIRE. 


接 下 来 就 可 以 连接 Nginx 的 3308 端 口 ， 访 问 我 们 的 数据 库 服务 器 了 。 


目前 的 配置 都 是 静态 配置 ， 像 数据 库 连 接 一 般 都 是 使 用 长 连接 ， 如 有 果 重 
局 Nginx 服 务 硕 ， 则 会 看 到 如 下 Worker 进 程 一 百 不 退出 。 


Nobody 10268 ...... nginx: worker process is shutting down 


这 是 因为 Worker 维 持 的 长 连接 一 下 在 使 用 ， 所 以 无 法 退出 ， 解 决 办 法 只 


能 是 杀 反 该 进程 。 


当然 ， 一 般 情 况 下 是 因为 需要 动态 添加 /删除 上 游 服 务 磊 ， 才 需要 重 局 
Nginx， 像 HITP 动 态 负载 均衡 那样 。 如 果 能 做 到 动态 负载 均衡 ， 则 一 大 
部 分 回 题 束 解决 了 。 

一 个 选择 是 购买 Nginxu 商 业 版 ， 为 一 个 选择 是 使 用 nginx-stream-upsync- 
module， 目 前 ，OpenResty 提 供 的 stream-lua-nginx-module 疝 未 实现 
balancer_by_lua 特 性 ， 因 此 暂时 无 法 使 用 。 当 前 开源 选择 可 以 使 用 


nginx-stream-upsync-module. 


2.9.2 ”动态 负载 均衡 


nginx-stream-upsync-module 有 一 个 兄弟 nginx-upsync-module， 其 提供 了 
HTTP 七 层 动 态 负 载 均 衡 ， 动 态 更 新 上 游 服务 右 不 需要 reload nginx。 当 
前 最 狐 版 本 是 基于 Nginx  1.9.107F Hy. DNI .9.10- o. REDDE 
了 基于 consul ”和 etcd 进 行动 态 更 新 上 游 服务 器 实现 。 本 部 分 基于 Nginx 
1.9.10 版 本 和 consul 配 置 中心 进 行 演 示 。 


首先 ， 需 要 下 载 并 添加 nginx-stream-upsync-module 模 块 最 新 版 本 。 


/configure --prefix-/usr/servers --with-stream --add-module=./nginxstream- 
upsync-module 


1.upstream 配 置 


upstream mysql backend { 
server 127.0.0.1:1111; #4f% server 
upsync 127.0.0.1:8500/vl/kv/upstreams/mysql backend upsync timeout =6m 
upsync interval-500ms upsync type-consul strong dependency-off; 
upsync dump path /usr/servers/nginx/conf/mysql backend.conf; 


upsyncfH S TR XE P consulUlBA E £6 3v. E 3H S 38 GEL; upsync timeout 
配置 从 consul 拉 取 上 游 服 务 占 配置 的 超时 时 | 间 ; upsync_interval 配 置 从 
consul 拉 取 上 游 服 务 右 配置 的 间隔 时 间 ;， upsync_type 指 定 使 用 consul 配 
置 服 务 器 ; strong_dependency 配 置 nginx 在 局 动 时 是 人 否 强制 依赖 配置 服务 
器 ， 如 果 配 置 为 on， 则 拉 取 配置 失败 时 nginx 启 动 同样 失败 。 


upsync_dump_path 指 定 从 consul 拉 取 的 上 洲 服 务 右 后 持久 化 到 的 位 置 ， 
这 样 即使 consul 服 务 需 出 问题 了 ， 本 地 还 有 一 个 备份 。 


2. Consul Ji E: 35$ AR 28 


Girl x PUT -ie fallsV"22, VILL timeat" cio” 
http://127.0.0.1:8500/v1/kv/ upstreams /mysql backend/ 10.0.0.24:3306 

curl -X PUT -d "{\"weight\"s1, \"max falls V":2, \"fail timeout |" :10)" 
http://127.0.0.1:8500/v1/ kv/upstreams/mysql backend/192.168.0.11:3306 


3. ConsulJlill E& E ÙF ARI AF 


curl -X D ELETE http://127.0.0.1:8500/v1/kv/upstreams/mysql backend/ 
192,159. 0,112 8:056 


4.upstream show 


server { 
listen 1234; 
upstream show; 


配置 upstream_show 指 令 后 ， 可 以 通过 curl 
http:/127.0.0.1:1234/upstream_show 来 租 看 当前 动态 负载 均衡 上 游 服 务 器 
列表 O 


到 此 动态 负载 均衡 吏 配 置 完 成 了 ， 我 们 已 讲解 完 动 态 添加 /删除 上 游 服 
务 货 。 在 实际 使 用 时 ， 请 进行 压 训 来 评测 其 稳定 性 。 在 实际 应 用 中 ， 蝎 
多 的 旦 用 HaProxy 进 行 四 层 负载 均衡 ， 因 此 ， 还 是 要 根据 目 己 的 场景 来 
选择 方案 。 


AL M X 
2225 BY 
[1] http://nginx.org/en/docs/http/ngx_http_upstream_module.html 


[2] http://hginx.org/en/docs/stream/ngx stream upstream module.html 
Bn py 
3 隔离 术 


隅 离 旦 指 将 系统 或 资源 分 割 开 ， 系 统 隔 离 是 为 了 在 系统 友 生 故障 时 ， 能 
限定 传播 匈 围 和 影响 范围 ， 即 肥 生 故障 后 不 会 出 现 滚雪球 效应 ， 从 而 你 
证 只 有 出 问题 的 服务 不 可 用 ， 其 他 服务 还 是 可 用 的 。 资 源 隔离 通过 隅 离 
来 减少 资源 竞争 ， 保 障 服务 间 的 相互 不 影响 和 可 用 性 。 笔 者 过 到 比较 多 
的 隔离 手段 有 线程 隅 离 、 进 程 阳 离 、 集 群 阳 离 、 机 房 隔离 、 读 写 隔离 、 
快慢 隅 离 、 动 静 隔 离 、 扑 虫 隔 离 等 。 出 现 系 统 问题 时 ， 可 以 考虑 负载 均 
衡 路 由 、 目 动 /手动 切换 分 组 或 者 降级 等 手段 来 你 障 可 用 性 ，。 


* LO 7E EP 
3.1 ”线程 隔离 
线程 隔离 主要 是 指 线 程 池 隔离 ， 在 实际 使 用 时 ， 我 们 会 把 请 求 分 类 ， 然 


后 交 给 不 同 的 线程 池 处 理 。 当 一 种 业务 的 请 求 处 理发 生 问题 时 ， 不 会 将 
故障 扩散 到 其 他 线程 池 ， 从 而 保证 其 他 服务 可 用 。 


m | 
vee | 业务 处 理 | | 生成 响应 

核心 业务 核心 业务 业务 | 

队列 线程 池 线程 2 业务 处 理 | | 生成 啊 应 
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业务 
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业务 


我 们 会 根据 服务 等 级 划分 两 个 线程 池 ， 以 下 十 池 的 抽象 。 


一 HTTP 请 求 


<bean id="zeroLevelAsyncContext" 
class="com.jd.noah.base.web. DynamicAsyncContext" 
destroy-method="stop"> 
<property name="asyncTimeoutInSeconds" 
value-"S(zero.level.request.async.timeout.seconds]"/» 
<property name-"poolSize" 
value="${zero.level.request.async.pool.size}"/> 
<property name="keepAliveTimeInSeconds" 
value="${zero.level.request.async.keepalive.seconds}"/> 
<property name="queueCapacity" 
value="${zero.level.request.async.queue.capacity}"/> 
</bean> 
<bean id="oneLevelAsyncContext" 
class="com.jd.noah.base.web.DynamicAsyncContext" 
destroy-method="stop"> 
<property name-"asyncTimeoutInSeconds" 
value="S${one.level.request.async.timeout.seconds}"/> 
<property name="poolSize" 
value="${one.level.request.async.pool.size}"/> 
<property name="keepAliveTimeInSeconds" 
value="S{one.level.request.async.keepalive.seconds}"/> 
<property name="queueCapacity" 
value="S{one.level.request.async.queue.capacity}"/> 
</bean> 


3.2 ”进程 隔离 


在 公司 友 展 1 初期， 一般 是 和 完 进行 从 宕 到 一 ， 不 会 一 上 来 束 进 行 系统 拆 

分 ， 这 样 就 会 开 友 出 一 些 大 而 全 的 系统 ， 系 统 中 的 一 个 模块 /功能 出 现 

问题 ， 整 个 系统 束 不 可 用 了。 首先 ， 想 到 的 解决 方案 是 通过 部 车 多 个 实 
例 ， 通 过 负载 均衡 进行 路 由 转 肥 。 但 是 ， 这 种 情况 无 法 避免 人 蔷 个 模块 因 
BUG 而 出 现 如 OOM 寻 致 整个 系统 不 可 用 的 风险 。 因 此 ， 此 种 方案 只 是 
一 个 过 变 ， 较 好 的 解决 方案 是 通过 将 系统 拆 分 为 多 个 子 系统 来 实现 物理 
F8. 通过 进程 隔离 使 得 未 一 个 子 系统 出 现 问题 时 不 会 影响 到 其 他 于 系 
ZT, o 
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3.3 ”集群 隔离 


随 独 系统 的 及 展 ， 单 实例 服务 无 法 满足 需求 ， 此 时 需要 服务 化 拉 术 ， 通 
过 部 垩 多 个 服务 形成 服务 集群 ， 来 握 升 系统 容量 ， 如 下 图 所 示 。 


商品 服务 





随 独 调用 方 的 增多 ， 当 秘 杀 服务 航 刷 会 影 啊 到 其 他 服务 的 称 定性 时 ， 应 
该 考虑 为 秒杀 提供 单独 的 服务 集群 ， 即 为 服务 分 组 ， 这 样 当 某 一 个 分 组 
出 现 问题 时 ， 不 会 影响 到 其 他 分 组 ， 从 而 实现 了 故障 隔离 ， 如 下 图 所 
不 。 


商品 服务 一 分 组 2 


实例 2 





比如 ， 注 册 生 产 者 时 提供 分 组 名 。 


<jsf:provider id="myService" interface-"com.jd.MyService" alias="${ 分 组 
44)" ref="myServicelmpl"/> 


消费 时 使 用 祖 关 的 分 组 名 即 可 。 


<jsf:consumer id-"myService" interface="com.jd.MyService" alias="${ 分 组 


名 }"/> 


3.4 机 房 隔 离 


随 着 对 系统 可 用 性 的 要 求 ， 会 进行 多 机 房 部 晋 ， 每 个 机 房 的 服务 都 有 目 
己 的 服务 分 组 ， 本 机 房 的 服务 应 该 只 调用 本 机 房 服务 ， 不 进行 跨 机 房 调 
用 。 其 中 ， 一 个 机 房 服务 发 生 问 题 时 ， 可 以 通过 DNS/ 负 和 载 均 衡 将 请 求 
全 部 切 到 男 一 个 机 房 ， 或 者 考虑 服务 能 目 动 重 试 其 他 机 房 的 服务 ， 从 而 
提升 系统 可 用 性 。 
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一 种 办 法 是 根据 IP 不同 机 房 IP 段 不 一 样 ) 目 动 分 组 ， 还 有 一 种 较 灵 活 
的 办 法 是 通过 在 分 组 名 中 加 上 机 房 名 。 


<jsf:provider id="myService" interface-"com.jd.MyService" alias="${ 分 组 


名 }-${ 机 房 }" ref="myServiceImpl"/> 


<jsf:consumer id="myService" interface="com.jd.MyService" alias="${ 分 组 


名 }-${ 机 房 }"/> 


3.5 ix 5 E 


如 下 图 所 示 ， 通 过 主 从 模式 将 谈 和 与 集群 分 离 ， 访 服务 只 从 Redis 集 群 
SQ m nte ® Senne eee 
No 


机 房 A 
从 Redis 集 群 





ULISB 
从 Redis 集 群 
-- 先 读 取 从 
status, resp = slave getikey) 
if status == STATUS OK then 


return status, value 
end 


-- 如 果 从 获取 失败 了 ， 从 主 获取 


status, resp = master get i{key) 
一 人 E mra RN 
3.6 ”动静 隔离 


当 用 户 访问 如 结算 页 时 ， 如 果 JS/CSS 等 静态 资源 也 在 结算 页 系统 中 时 ， 
很 可 能 因为 访问 量 太 大 导致 市 宽 航 打 症 ， 从 而 出 现 不 可 用 。 


| 
用 户 请 求 





因此 ， 应 访 将 动态 内 容 和 裔 态 资 源 分 离 ， 一 般 应 起 将 静态 资源 放 在 CDN 


上 ， 如 下 图 所 示 。 
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JS/CS5 等 


3.7 EERS 
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大 而 导致 服 务 不 可 用 。 一 种 解决 办 法 是 通过 限 流 解决 ， 为 一 种 解决 办 法 
是 在 人 负载 均衡 层面 将 扑 虫 路 由 到 单独 集群 ， 从 而 你 证 正常 流量 可 用 ， 扑 
虫 流量 尽量 可 用 。 





最 简单 的 方法 是 使 用 Nginx， 可 以 这 样 配 置 。 


set Sflag 0; 

if ($http user agent ~* "spider") { 
set Sflag "Il"; 

} 

if(Sflag = "0") { 
// 代 理 到 正常 集群 

} 

if (Sflag = "I") { 
/ / B BMG He Fe RE 

} 


实际 场景 我 们 使 用 了 OpenResty， 不 仪 对 有 息 虫 user-agent 过 小 ， 还 会 过 滤 
HET AIP (通过 统计 IP 访 问 量 来 配置 闵 值 )， 将 它们 分 流 到 固定 分 
组 ， 这 种 情况 会 存在 一 定 程 度 的 误杀 ， 因 为 公司 的 公 网 耻 一 般 情 况 下 是 
同一 个 ， 大 家 使 用 同一 个 公 网 出 口 卫 访问 网 站 ， 因 此 ， 可 以 考虑 
IP+Cookie 的 方式 ， 在 用 户 浏 览 右 种 西 标识 用 户 身 份 的 唯一 Cookie。 访 
问 服务 前 先 种 植 Cookie， 访 问 服务 时 验证 该 Cookie， 如 果 没 有 或 者 不 下 
人 确 ， 则 可 以 考虑 分 流 到 国定 分 组 ， 或 者 提示 输入 验证 人 码 后 访问 。 


3.8 ”热点 隔离 


秒杀 、 抢 购 属于 非常 合适 的 热点 例子 ， 对 于 这 种 热点 ， 是 能 提前 知道 
的 ， 所 以 可 以 将 秒杀 和 抢购 做 成 独立 系统 或 服务 进行 隔离 ， 从 而 保证 秒 
杀 /抢购 流程 出 现 问题 时 不 影响 主流 程 。 


还 存在 一 些 热点 ， 可 能 是 因为 价格 或 突 发 事件 引起 的 。 对 于 读 热 点 ， 笔 
者 使 用 多 级 缓存 来 搞定 ， 而 写 热点 我 们 一 般 通过 缓存 + 队列 模式 削 峰 
可 以 参考 “前端 交 易 型 系统 设计 原则 ”。 


YA — — y3 a 
3.9 9158 D A 
最 常见 的 资源 ， 如 磁盘 、CPU、 网 络 ， 这 些 宝贵 的 资源 ， 都 会 存在 竞争 
问题 。 
在 “构建 需求 啊 应 式 亿 级 商品 详情 页 ”中 ， 我 们 使 用 JIMDB 数 据 同 步 时 要 


dump 数 据 ，SSD 盘 容量 用 了 50% 以 上 ，dump 到 同一 块 磁盘 时 遇 到 了 容 
量 不 足 的 问题 ， 我 们 通过 单独 挂 一 块 SAS 盘 来 专门 同步 数据 。 还 有 ， 使 


用 Docker 容 器 时 ， 有 的 容器 写 磁盘 非常 频繁 ， 因 此 ， 要 考虑 为 不 同 的 容 
器 挂 载 不 同 的 磁盘 。 


跃 认 CPU 的 调度 条 略 在 一 些 退 求 极 致 性 能 的 场景 下 可 能 并 不 太 适 合 ， 我 
们 名 望 通 过 绑 定 CPU 到 特定 进程 来 提升 性 能 。 当 一 台 机 器 启动 很 多 
Redis 实 例 时 ， 将 CPU 通 过 taskset 绑 定 到 Redis 实 例 上 可 以 提升 一 些 性 

能 。 还 有 ，Nginx 提 供 了 worker_processes 和 worker_cpu_affinity 来 绑 定 
CPU。 如 系统 网 络 应 用 比较 繁 性 ， 可 以 考虑 将 网 卡 IRQ 绑 定 到 指定 的 
CPU 来 提升 系统 处 理 中 断 的 能 力 ， 从 而 提升 整体 性 能 。 


可 以 通过 cat /proc/interrupts Ba Pi tal, FA Jai 
过 /procirq/N/smp _affinity 手 动 设 置 中 断 要 绑 定 的 CPU。 或 者 开局 
irqbalance 优 化 中 断 分 配 ， 将 中 断 均 勺 地 分 用 给 CPU。 


还 有 如 大 数据 计算 集群 、 数 据 库 集 群 应 该 和 应 用 集群 隔离 到 不 同 的 机 架 
或 机 房 ， 实 现 网 络 的 隔离 ， 因 为 大 数据 计算 或 数据 库 同 步 时 会 占用 比较 
大 的 网 络 带宽 ， 可 能 会 拥塞 网 络 导致 应 用 响应 变 慢 ， 


还 有 一 些 其 他 次 似 的 隔离 术 ， 如 环境 隔离 〈 测 试 环境 、 预 发 布 环 境 / 灰 

FA ERA) 、 压 测 隔离 〈 真 实数 据 、 压 测 数 据 隔 离 ) 、AB 测 

试 ( 为 不 同 的 用 户 提 供 不 同 版 本 的 服务 )、 绥 存 隔离 (有些 系统 混用 绥 
存 ， 而 有 些 系统 会 扔 大 字 节 值 到 Redis， 造 成 Redis 慢 查询 ) 、 查 询 隔 离 
(简单 、 批 量 、 复 杂 条 件 查 询 分 别 路 由 到 不 同 的 集群 ) 等 。 通 过 隔离 ， 

可 以 将 风险 降 到 最 低 ， 将 性 能 提升 至 最 优 。 


3.10 ”使 用 Hystrix 实 现 隔 离 
3.10.1  Hystrixí&j 7} 


Hystrix Netflix F Ji B5] — SEIS 43 4B 3 AR SERI WEIS A Ae EE, HB ee 
来 阳 离 分 布 式 服务 故障 。 它 提供 线程 和 信号 量 隔离 ， 以 减少 不 同 服务 之 
A VR SEA TOR ATA Ae; PEGE OCHRE LT; 提供 熔断 机 制 使 得 服 
SALWAR AM, TAN cE — BA ES ARS MV, JEEP PORK . 

Hystrix 通 过 这 些 机 制 来 阻止 级 联 失 败 并 保证 系统 弹性 、 可 用 。 下 图 是 一 
个 典型 的 分 布 式 服务 实现 。 
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自 完 ， 当 大 多 数 人 在 使 用 Tomcat 时 ， 多 个 HTTP 服 务 会 共享 一 个 线程 
闻 ， 假 设 其 中 一 个 HTTP 服 务 访问 的 数据 库 啊 应 非常 慢 ， 这 将 造成 服务 
啊 应 时 间 延 迟 增加 ， 大 多 数 线程 阻 杜 等 竺 数据 啊 应 返回 ， 导 致 整个 
Tomcat 线 程 池 都 被 该 服务 占用 ， 其 至 拖 垮 整个 Tomcat。 因 此 ， 如 果 我 们 
能 把 不 同 HTTP 服 务 隔 离 到 不 同 的 线程 池 ， 则 茶 个 HITP 服 务 的 线程 季 满 
Ig ee EN 
离 来 实现 了 。 


使 用 线程 隔离 或 信号 隔离 的 目的 是 为 不 同 的 服务 分 配 一 定 的 资源 ， 当 目 
己 的 资源 用 完 ， 生 接 返 回 失 败 而 不 是 占用 别人 的 资源 。 


同 理 ， 如 “HTTP 服 务 1” 和 “HTTP 服 务 2” 要 分 别 访问 远程 的 “分 布 式 服务 

A” 和 “分 布 式 服务 B”， 假 设 它 们 共享 线程 池 ， 那 么 其 中 一 个 服务 在 出 现 
问题 时 也 会 影响 到 另 一 个 服务 ， 因 此 ， 我 们 需要 进行 访问 隔离 ， 可 以 通 
过 Hystrix 的 线程 地 隔离 或 信号 量 隅 离 来 实现 。 

其 次 , “分布 式 服务 B” 依 顿 了 "分布 式 服务 D” 和 “分 布 式 服 务 E”， 其 中 “分 
布 式 服务 D” 是 一 个 可 降级 的 服务 ， 意 思 是 出 现 故 障 时 (如 超时 、 网 络 故 
障 〉 可 以 暂时 屏蔽 挥 或 者 返回 缓存 脏 数 据 ， 如 访问 了 商品 详情 页 时 ， 可 以 
暂时 屏蔽 掉 上 边 的 商家 信息 ， 不 会 影响 用 户 下 单 流 程 。 


当 我 们 依赖 的 服务 访问 超时 时 ， 要 提供 降级 琐 略 。 比 如 ， 返 回 托 搬 数据 
咀 止 级 联 故 障 。 当 因为 一 些 故 障 ( 如 网 络 故 障 ) 使 得 服务 可 用 率 下 降 
时 ， 要 能 及 时 熔断 ， 一 是 快速 失败 ， 二 是 可 以 保护 远程 分 布 式 服务 。 
到 此 我 们 大 体 了 解 了 Hvystrix 是 用 来 解决 什么 问题 的 。 


1. 限 制 调用 分 布 式 服务 的 资源 使 用 ， 荣 一 个 调用 的 服务 出 现 问题 不 会 影 


呵 其 他 服务 调用 ， 通 过 线程 池 隔 离 和 信号 量 隔离 实现 。 


2.Hystrix 提 供 了 优雅 降级 机 制 : 超时 降级 、 资 源 不 足 时 《线程 或 信号 
量 ) 降级 ， 降 级 后 可 以 配合 降级 接口 返回 托 搬 数据 。 


3.Hystrix 也 提供 了 炊 断 占 实 现 ， 当 失败 泰达 到 立 值 目 动 触 友 降 级 如 因 
网 络 故 障 /超时 造成 的 失败 率 高 ) ， 熔 新 硕 触 及 的 快速 失败 会 进行 快速 
恢复 。 

4. 还 提供 了 请 求 缓存 、 请 求 合并 实现 。 


接 下 来 ， 我 们 来 看 一 下 如 何 使 用 Hystrix， 本 书 使 用 的 版 本 是 Hystrix- 
1.5.6。 


3.10.2 ”隔离 示例 


以 线程 池 隅 离 为 示例 ， 会 为 不 同 的 服务 设置 不 同 的 线程 池 ， 从 而 实现 相 
互 隔离 。 
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为 不 同 的 HITP 服 务 设 置 不 同 的 线程 池 ， 为 不 同 的 分 布 式 服务 调用 设置 
不 同 的 线程 池 。 


假设 我 们 现在 要 调用 一 个 获取 库存 服务 ， 通 过 封装 一 个 命令 
GetStockService Command 来 实现 。 


public class GetStockServiceCommand extends HystrixCommand<String> { 
private StockService stockService; 
public GetStockServiceCommand() { 
super(setter()); 
} 
private static Setter setter() { 
// 服 务 分 组 
HystrixCommandGroupKey groupKey = 
HystrixCommandGroupKey.Factory. asKey("stock"); 
// 服 务 标识 
HystrixCommandKey commandKey = 
HystrixCommandKey.Factory.asKey("getStock"); 
/ /线程 池 名 称 
HystrixThreadPoolKey threadPoolKey = 
HystrixThreadPoolKey.Factory.asKey("stock-pool"); 
// 线 程 池 配 置 
HystrixThreadPoolProperties.Setter threadPoolProperties = 
HystrixThreadPoolProperties.Setter() 
.WithCoreSize (10) 
.WithKeepAliveTimeMinutes (5) 
.withMaxQueueSize (Integer .MAX VALUE) 
.WithQueueSizeRejectionThreshold (10000); 


/ /命令 属性 配置 
HystrixCommandProperties.Setter commandProperties = 
HystrixCommandProperties.Setter() 
.WithExecutionIsolationStrategy (HystrixCommandProp 
erties.ExecutionIsolationStrategy. THREAD); 


return HystrixCommand.Setter 
.withGroupKey (groupKey) 
.andCommandKey (commandKey) 
.andThreadPoolKey (threadPoolKey) 
.andThreadPoolPropertiesDefaults (threadPoolProperties) 
.andCommandPropertiesDefaults (commandProperties); 
} 
@Override 
protected String run() throws Exception { 
return stockService.getStock () ; 
} 
} 


几 个 重要 组 件 如 下 。 


HystrixCommandGroupKey: 配置 全 局 唯一 标识 服务 分 组 的 名 称 ， 比 
如 ， 库 存 系统 惑 是 一 个 服务 分 组 。 当 我 们 监控 时 ， 相 同 分 组 的 服务 会 聚 
合 在 一 起 ， 必 十 选项 。 


HystrixCommandKey: ”配置 全 局 唯一 标识 服务 的 名 称 ， 比 如 ， 库 存 系 
统 有 一 个 获取 库存 服务 ， 那 么 束 可 以 为 这 个 服务 起 一 个 名 字 来 唯一 识别 
该 服务 ， 如 果 不 配置 ， 则 默认 是 简单 类 名 。 


HystrixThreadPoolKey: 配置 全 局 唯一 标识 线程 池 的 名 称 ， 相 同 线程 
闻名 称 的 线程 池 是 同一 个 ， 如 果 不 配 置 ， 则 默认 是 分 组 名 ， 此 名 字 也 是 
线程 池 中 线程 名 字 的 前 绥 。 


HystrixThreadPoolProperties: ”配置 线程 池 参 数 ，coreSize 配 置 核心 线 
程 池 大 小 和 线程 池 最 大 大 小 ，keepAliveTimeMinutes 是 线程 池 中 空闲 线 
程 生 存 时 间 《〈 如 果 不 进行 动态 配置 ， 那 么 是 没有 任何 作用 的 ) ， 
maxQueueSize 配 置 线程 池 队 列 最 大 大 小 ，gqueueSizeRejectionThreshold 限 
定 当 前 队列 大 小 ， 即 实际 队列 六 小 由 这 个 参数 决定 ， 通 过 改变 
queueSizeRejectionThreshold FJ 以 实现 动态 队列 大 小 调整 。 


HystrixCommandProperties: 配置 该 命令 的 一 些 参 数 ， 如 
executionIsolationStrategy 配 置 执行 隔离 混 略 ， 默 认 是 使 用 线程 隔离 ， 此 
处 我 们 配置 为 THREAD， 即 线程 池 隔 离 。 


此 处 可 以 粗 粒 度 实现 隔离 ， 也 可 以 细 粒 度 实现 隅 离 ， 如 下 所 示 。 


服务 分 组 + 线程 池 :” 粗 粒 度 实现 ， 一 个 服务 分 组 /系统 配置 一 个 隔离 线 
程 池 即 可 ， 不 配置 线程 池 名 称 或 者 相同 分 组 的 线程 池 名 称 配 置 为 一 样 。 


服务 分 组 + 服务 + 线程 池 : 细 粒 度 实 现 ， 一 个 服务 分 组 中 的 每 一 个 服务 
配置 一 个 隔离 线程 他 ， 为 个 同 的 命令 实现 配置 不 同 的 线程 池 名 称 即 可 。 


混合 实现 : ”一 个 服务 分 组 配置 一 个 隔离 线程 池 ， 然 后 对 重要 服务 单独 
设置 隔离 线程 池 。 

如 上 配置 是 在 应 用 局 动 时 就 配置 好 了 ， 在 实际 运行 过 程 中 ， 我 们 可 能 随 
时 调整 其 中 一 些 参数 ， 如 线程 池 大 小 、 队 列 大 小 ， 此 时 ， 可 以 使 用 如 下 
方式 进行 动态 配置。 


String dynamicQueueSizeRejectionThreshold = "hystrix.threadpool." + 
"stock-pool" + ".queueSizeRejection Threshold"; 


Configuration configuration = ConfigurationManager.getConfigInstance (); 
configuration.setProperty(dynamicQueueSizeRejection Threshold, 100); 


如 果 是 改变 线程 池 配 置 ， 则 是 "hystrix.threadpool]." + threadPoolKey + 
propertyName; 如 果 是 改变 命令 属性 配置 ， 则 是 "hystrix.command." + 
commandKey + propertyName. 


接 下 来 就 可 以 通过 如 下 方式 创建 命令 。 


GetStockServiceCommand command = new GetStockServiceCommand(new 
StockService()); 


然后 通过 如 下 方式 同步 调用 。 

String result = command.execute(); 

或 者 返回 Future 从 而 实现 异步 调用 。 
Future<String> future = command.queue(); 


或 者 配合 RxJava 实 现 啊 应 式 编 程 。 


Observable<String> observe = command.observe(); 
observe.asObservable().subscribe((result) -> { 
Systen. out. per ntln( result) ; 


aF 


在 应 用 Hystrix 时 ， 首 先 需要 把 服务 封装 成 HystrixCommand， 即 命令 模式 
实现 ， 然 后 就 可 以 通过 同步 /异步 / 啊 应 式 模 式 来 调用 服务 。 


信号 量 隅 离 通 过 如 下 配置 即 可 。 


HystrixCommandProperties.Setter commandProperties = 
HystrixCommandProperties.Setter() 
.WithExecutionIsolationStrategy (HystrixCommandProperties.Execut 
ionlIsolationStrategy.SEMAPHORE) 
.WithExecutionIsolationSemaphoreMaxConcurrentRequests (50); 


信号 量 隅 离 只 十 限 制 了 也 的 并 友 数 ， 服 务 使 用 主线 程 进行 同步 调用 ， 即 
没有 线程 池 。 因 此 ， 如 朱 只 是 想 限制 未 个 服务 的 总 并 及 调用 量 或 者 调用 
的 服务 不 涉及 远程 调用 的 话 ， 可 以 使 用 轻 量 级 的 信和 号 量 来 实现 。 


GetStockServiceCommand 不 是 单 例 ， 不 能 重用 ， 必 须 每 次 使 用 创建 一 
个 。 如 果 铬 得 Hystrix 太 麻烦 或 者 太 重 ， 则 可 以 参考 Hystrix 思 路 设计 目 己 
的 组 件 。 


3.11 基于 Servlet 3 实现 请 求 隅 离 

在 系 东 商品 详情 页 系统 〈 后 妆 数 据 源 ) 及 商品 详情 页 统一 服务 系统 〈 页 
面 中 异步 加 载 的 很 多 服务 ， 如 库存 服务 、 图 书 相 天 服 务 、 延 保 服 务 等 ) 

中 ， 我 们 使 用 了 Servlet 3 请 求 异步 化 模型 ， 本 文 总 结 了 Servlet 3 请 求 异步 
化 的 一 些 经 验 。 

我 们 将 从 如 下 几 点 来 了 解 Servlet 3 异步 化 : 为 什么 实现 请 求 异 步 化 需要 
使 用 Servlet 3、 请 求 异 步 化 后 得 到 的 好 处 是 什么 、 如 何 使 用 Servlet 3 异步 
化 ， 以 及 一 些 Servlet 3 异步 化 压 测 数据 。 

Tomcat 在 收 到 HTTP 请 求 后 会 按照 如 下 流程 处 理 请 求 。 


1. 容 右 负 贡 接 收 并 解析 请 求 为 HttpServletRequest。 


2. 然 后 交 给 Servlet 进 行业 务 处 理 。 
3. 最 后 通过 HttpServletResponse 写 出 啊 应 。 


在 Servlet 2.x 规 范 中 ， 所 有 这 些 处 理 都 是 同步 进行 的 ， 也 就 是 说 必须 在 
一 个 线程 中 完成 从 接收 请 求 、 业 务 处 理 到 啊 应 。 


此 处 以 Tomcat 6 为 例 。Tomcat 6 没有 实现 Servlet 3 规范 ， 它 在 处 理 请 求 时 
是 通过 如 下 方式 实现 的 。 


org.apache.catalina.connector.CoyoteAdapter#service 

// Recycle the wrapper request and response 

if (!comet) { 
request.recycle(); 
response.recycle(); 

} else { 
// Clear converters so that the minimum amount of memory 
// is used by this processor 
request.clearEncoders () ; 
response.clearEncoders (); 


j 


在 请 求 结束 时 ， 会 同步 进行 请 求 的 回收 ， 也 就 是 说 请 求解 析 、 业 务 处 理 
和 了 啊 应 必须 在 一 个 线程 内 完成 ， 不 能 跨越 线程 界限 。 


这 也 就 说 明了 必须 使 用 实现 了 Servlet 3 规范 的 容器 进行 处 理 ， 如 Tomcat 


/Xs 
请 求 异 步 化 后 得 到 的 好 处 如 下 所 示 。 


: 基于 NIO 能 处 理 更 高 的 并 发 连接 数 ， 我 们 使 用 JDK 7 配合 Tomcat 7, Hk 
测 得 到 不 错 的 性 能 表现 。 


` 请 求解 析 和 业务 处 理 线程 闻 分 离 。 
:根据 业务 重要 性 对 业务 分 级 ， 并 分 级 线程 池 。 


: 对 业务 线程 地 进行 监控 、 运 维 、 降 级 等 处 理 。 


3.11.1 请 求解 析 和 业务 处 理 线程 池 分 离 
在 引入 Servlet 3 之 前 我 们 的 线程 模型 是 如 下 样子 。 
ei 业务 处 理 | | 生成 响应 
—HTTP iiis Vine 业务 处 理 | | 生成 响应 


Tomcat l 


整个 请 求解 析 、 业 务 处 理 、 生 成 响应 都 是 由 Tomcat 线 程 池 进行 处 理 的 ， 
而 且 都 是 在 一 个 线程 中 处 理 ， 不 能 分 离线 程 处 理 ， 比 如 接收 到 请 求 后 交 
给 其 他 线程 处 理 ， 则 不 能 灵活 定义 业务 处 理 模型 。 


引入 Servlet 3 之 后 ， 我 们 的 线程 模型 可 以 改造 为 如 下 样子 。 























一 HTTP 请 求 
Wk 队列 线程 池 





此 处 可 以 看 到 请 求解 析 使 用 Tomcat 单 线程 ， 而 解析 完成 后 会 将 请 求 扔 到 
业务 队列 中 ， 由 业务 线程 池 进行 处 理 ， 这 种 处 理 方式 可 以 得 到 如 下 好 
lib. 

. 根据 业务 重要 性 对 业务 进行 分 级 ， 然 后 根据 分 级 定义 线程 池 。 

. 可 以 拿 到 业务 线程 池 ， 可 以 进行 很 多 操作 ， 比 如 监控 、 降 级 等 。 
3.11.2 ”业务 线程 池 隔 离 


在 一 个 系统 的 上 发展 期 间 ， 我 们 一 般 把 很 多 服务 放 到 一 个 系统 中 进行 处 
理 ， 比 如 库存 服务 、 图 书 相关 服务 、 延 你 服务 等 ;这 些 服务 中 ， 可 以 根 


扼 其 重要 性 对 业务 分 级 别 和 做 一 些 限 制 。 

可 以 把 业务 分 为 核心 业务 级 别 和 非 核心 业务 级 列 。 

- 为 不 同 级 列 的 业务 定义 不 同 的 线程 池 ， 线 程 池 之 间 是 隅 离 的 。 
:根据 业务 量 定 义 各 级 别 线 程 池 大 小 。 
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线程 N 业务 处 理 生成 响应 


此 时 ， 假 设 非 核 心 业务 因为 数据 库 连 接 池 或 者 网 络 问题 引 友 拌 动 ， 造 成 
呵 应 时 间 过 长 ， 不 会 对 我 们 的 核心 业务 产生 影响。 


3.11.3 ”业务 线程 池 监 控 / 运 维 /降级 
因为 业务 线程 池 从 Tomcat 中 分 离 出 来 ， 可 以 进行 线程 池 的 监控 ， 比 如 ， 


查看 当前 处 理 的 请 求 有 多 少 ， 是 否 到 了 负载 瓶 贷 ， 如 到 了 瓶 须 可 以 进行 
业务 报警 等 处 理 。 





http:/, a,u avs svo. .uu zerolevel/asyncServlet/backend/get 
l'corePoolSize" : 128, "maximumPoolSize" :1024, "poolSize":0," largestPoolSize' :66," act iveCount" : 0, “taskCount": 102, " completedTaskCount" : 102, " keepáliveTimeInSeconds":6 
0, " irQueueSize" : 0, " renainingCapacity" :2048, "asyncTimeout" : 3} 





http: /, /zeroLevel/asyncServlet/backend/get' 
l'corePoolSize" : 128, "maximumPoolSize" :1024, "poolSize":128, "largestPoolSize' : 128,“ activeCount" :2, " taskCount " : 6478641, “complet edTaskCount " :6478639, "keepAliveTimeI 
nSeconds" : 60, “inQueueSize":0, " remainingCapacity" : 2048, " asyncTimeout " :3] 


http: /; ^zerolevel/asyncServlet/backend/get?: 
lcorePoolSize":128, "maximumPoolSize" :1024, "poolSize":128, "largestPoolSize' : 128," act iveCount" :2, " taskCownt " : 8993881, “complet edTaskCount " :8993879, “keepAliveTimel 
nSeconds" : 60, "inQueueSize":0, " renainingCapacity :2048, " asyncTimeout":3] 


http:// /zerolevel/asyncServlet/backend/zet' 
l'corePoolSize" : 128, “maximumPoolSize" :1024, "poolSize":128, "largestPoolSize" : 128, " activeCount" :3, “taskCount": 5221100, " completedTaskCount" :5221097, "keepAliveTimeI 
nSeconds" : 60, "1nQueueSize" : 0, " remainingCapacity" : 2048, " asyncTimeout " :3] 





上 图 是 一 个 徐 陋 的 监控 图 ， 可 实时 查看 到 当前 处 理 情况 : 正在 处 理 的 任 
BRED, BUPSPSISTESEH do. ARI E EAEI EAN 
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万 外 ， 我 们 还 可 以 进行 一 些 简单 运 维 。 





Ip: 

17. 28 

17. 10 

17. 11 

17. 12 

17. 13 

17. 45 

17. 46 

17. '37 

17. 39 i 


thread pool core size (初始 大 小 ) : 128 

thread pool max size 《最 大 大 小 ) : 1024 

thread pool keep alive timeout 【线程 空 蜡 超时 时 | 团 / 秒 ) : 60 
request async timeout 【请 求 处 理 超时 时 间 / 秒 ) : 3 


修改 线程 池 | | | 清空 线程 池 | 





现在 ， 对 业务 线程 池 进行 扩容 ， 或 者 业务 出 问题 时 立即 清空 线程 池 防 止 
rasis inp. TUS EIT ue RU. A ie HJ ru Se FG ACT AP 
SALT. Mm Basa AWGN a, EAEE. 


如 条 友 现 请 求 处 理 不 过 来 ， 负 载 比较 局 ， 那 么 最 简单 的 从 法 束 是 百 接 清 
空 线程 地 ， 将 老 请 求 拒 绝 挥 ， 和 避免 出 现 雪 裔 效应 。 


因为 业务 队列 和 业务 线程 池 部 是 目 己 的 ， 可 以 对 这 些 基础 组 件 做 很 多 处 
PE. 定制 业务 队列 ， 按 照 用 户 级 别 对 用 户 请 求 排序 ， 让 高 级 别 用 户 得 到 
更 高 优先 级 的 业务 处 理 。 


3.11.4 ”如 何 使 用 Servlet 3 异步 化 


对 于 Servlet 3 的 使 用 ， 可 以 参考 笔者 博客 中 的 文章 《Servlet 3.129075. CA 
终 版 ) Sch) MServlet 3.1 尝 习 示 例 ， 笔 者 项 目 里 的 实现 比较 简单 。 


1. 接 收 请 求 
通过 一 级 业务 线程 池 接 收 请 求 ， 并 提交 业务 处 理 到 该 线 程 池 。 


@RequestMapping ("/book") 

public void getBook( 
HttpServletRequest request, 
QRequestParam(value-"skuId") final Long skuld, 
@RequestParam(value="cat1") final Integer catl, 
@RequestParam(value="cat2") final Integer cat2) throws Exception { 
oneLevelAsyncContext.submitFuture (request, 

() -> bookService.getBook (skuId, catl, cat2)); 
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public void submitFuture( 
final HttpServletRequest req, final Callable «Object» task) { 
final String uri = req.getRequestURI(); 
final Map<String, String[]> params = req.getParameterMap(); 
final AsyncContext asyncContext = req.startAsync(); // 开 局 异步 上 下 文 
asyncContext.getRequest().setAttribute("uri", uri); 
asyncContext.getRequest().setAttribute("params", params); 
asyncContext.setTimeout (asyncTimeoutInSeconds * 1000); 
if(asyncListener !- null) { 
asyncContext.addListener (asyncListener); 
} 
executor. submit (new CanceledCallable(asyncContext) { / AES R ENE 
@Override 
public Object call() throws Exception { 
Object o = task.call(); // 业 务 处 理 调用 
if(o == null) { 
callback(asyncContext, o, uri, params); // 业 务 完成 后 ， 啊 应 处 理 
} 
if(o instanceof CompletableFuture) { 
CompletableFuture<Object> future = 
(CompletableFuture «Object»)o; 
future.thenAccept (resultObject -> 
callback(asyncContext, resultObject, uri, params)) 
.exceptionally(e -> { 
callback(asyncContext, "", uri, params); 
return null; 


BE. 


} else if(o instanceof String) { 
callback(asyncContext, o, uri, params); 


} 


return null; 


)); 
j 
private void callback(AsyncContext asyncContext, Object result, 
String nri, Map«S5tring, String[l» params) | 
HttpServletResponse resp - 
(HttpServletResponse) asyncContext, getResponse(); 
try { 
if(result instanceof String) { 
write(resp, (String)result); 
) else { 
write(resp, JSONUtils.toJSON(result)); 
} 
} catch (Throwable e) { 
resp.setStatus (HttpServletResponse.SC INTERNAL SERVER ERROR) ; 
// 程序 内 部 错误 
try | 
LOG.error("get info error, uri : {}, params : {}", 
uri, JSONUtils.toJSON(params), e); 
} catch (Exception ex) { 
} 
) finally { 
asyncContext.complete (); 


} 


3. 线 程 池 的 初始 化 


@Override 
public void afterPropertiesSet() throws Exception { 


String[] poolSizes = poolSize.split("-"); 

// 初 始 线程 池 大 小 

int corePoolSize = Integer.valueOf(poolSizes[0]); 

// 最 大 线程 池 大 小 

int maximumPoolSize = Integer.valueOf(poolSizes[1]); 
queue = new LinkedBlockingDeque<Runnable>(queueCapacity) ; 
executor = new ThreadPoolExecutor ( 


corePoolSize, maximumPoolSize, 
keepAliveTimeInSeconds, TimeUnit.SECONDS, 


queue) ; 


executor.allowCoreThreadTimeOut (true); 
executor.setRejectedExecutionHandler( 
new RejectedExecutionHandler() { 
@Override 
public void rejectedExecution ( 
Runnable r, ThreadPoolExecutor executor) { 
if(r instanceof CanceledCallable) { 


CanceledCallable cc = ((CanceledCallable) r); 
AsyncContext asyncContext = cc.asyncContext; 
if(asyncContext != null) { 

try { 


ServletRequest req = asyncContext.getRequest (); 
String uri = (String) req.getAttribute ("uri"); 
Map params = (Map) req.getAttribute ("params"); 
LOG.error ("async requestrejected, wi: {}, grams : 
{}", uri, JSONUtils.toJSON (params) ); 
} catch (Exception e) {} 
try { 
HttpServletResponse resp = 
(HttpServletResponse) asyncContext.getResponse () ; 
resp.setStatus ( 
HttpServletResponse.SC INTERNAL SERVER ERROR); 
) finally (| 
asyncContext.complete(); 


)2; 


if(asyncListener == null) { 
asyncListener = new AsyncListener() { 
@Override 


public void onComplete(AsyncEvent event) throws IOException { 

} 

@Override 

public void onTimeout (AsyncEvent event) throws IOException { 
AsyncContext asyncContext = event.getAsyncContext (); 


try { 
ServletRequest req = asyncContext.getRequest(); 
String uri = (String) req.getAttribute ("uri"); 


Map params - (Map)req.getAttribute ("params"); 
LOG.error("async request timout, uri :{}, params :{}", 


uri, JSONUtils.toJSON(params)); 
} catch (Exception e) {} 
try { 
HttpServletResponse resp = 
(HttpServletResponse) asyncContext.getResponse () ; 
resp.setStatus ( 
HttpServletResponse.SC INTERNAL SERVER ERROR) ; 
) finally (| 
asyncContext.complete(); 


@Override 
public void onError(AsyncEvent event) throws IOException { 
// 省 略 onError 代码 ， 与 onTimeout RW 


@Override 
public void onStartAsync(AsyncEvent event) 
throws IOException { 


} 
4. 业 务 处 理 
执行 bookService.getBook(skuld, cat1, cat2) 进 行业 务 处 理 。 
5.1 [E] f by, 
在 之 前 封 痛 的 异步 线程 池上 下 文中 直接 返回 。 


6.Tomcat server.xml 的 配置 


«Connector port="1601" asyncTimeout="10000" 
acceptCount="10240" maxConnections="10240" acceptorThreadCount="1" 
minSpareThreads="1" maxThreads="1" redirectPort="8443" 
processorCache="1024" URIEncoding="UTF-8" 
protocol-2"org.apache.coyote.httpll.HttpllNioProtocol" 
enableLookups-"false"/» 


此 处 可 以 看 到 ，Tomcat 线 程 池 配 置 了 maxThreads=1， 即 一 个 线程 进行 请 
求解 析 。 


3.11.5 一 些 Servlet 3 异步 化 压 测 数据 


压 测 机 器 基本 环境 : 32 核 CPU、32G 内 存 ; jdk1.7.0_71 + tomcat 7.0.57， 
服务 啊 应 时 间 在 20ms+， 使 用 最 简单 的 单个 URL 压 测 吞 吐 量 。 


1. 使 用 BIO 方式 压 测 
siege-3.0.7 ]# ./src/siege -c100 -t60s -b http://***.item.jd.com/981821 
Transactions: 279187 hits 
Availability: 100.00 % 

Elapsed time: 59.33 secs 

Data transferred: 1669.41 MB 
Response time: 0.02 secs 
Transaction rate: 4705.66 trans/sec 
Throughput: 28.14 MB/sec 
Concurrency: 99.91 

Successful transactions: 279187 


Failed transactions: 0 


Longest transaction: 1.04 

Shortest transaction: 0.00 

2.15 H Servlet 3 NIOH} MJK 31003 R~ 60s 

siege-3.0.7 ]# ./src/siege -c100 -t60s -b http://***.item.jd.com/981821 
Transactions: 337998 hits 

Availability: 100.00 % 

Elapsed time: 59.09 secs 

Data transferred: 2021.07 MB 

Response time: 0.03 secs 

Transaction rate: 5720.05 trans/sec 

Throughput: 34.20 MB/sec 

Concurrency: 149.79 

Successful transactions: 337998 

Failed transactions: 0 

Longest transaction: 1.07 

Shortest transaction: 0.00 

3.1 H Servlet 3 NIOH 27 15]5:316003£ 2. 60s 

siege-3.0.7 ]# ./src/siege -c600 -t60s -b http://***.item.jd.com/981821 
Transactions: 370985 hits 


Availability: 100.00 % 


Elapsed time: 59.16 secs 

Data transferred: 2218.32 MB 
Response time: 0.10 secs 
Transaction rate: 6270.88 trans/sec 
Throughput: 37.50 MB/sec 
Concurrency: 598.31 

Successful transactions: 370985 
Failed transactions: 0 

Longest transaction: 1.32 


Shortest transaction: 0.00 


"EVE di. AES JeREREGRJEY. fBrnwmpBSAIE Jr. e 
ee 
NEE 。 


通过 异步 化 我 们 不 会 获得 更 快 的 啊 应 时 间 ， 但 是 ， 我 们 获得 了 你 体 行 吐 
量 和 我 们 需要 的 灵活 性 : 请 求解 机 和 业务 处 理 线程 池 分 离 ; 根据 业务 重 
要 性 对 业务 分 级 ， 并 分 级 线程 池 ; 对 业务 线程 池 进 行 监控 、 运 维 、 降 级 


等 处 理 。 
4 [EVE 


TES RIF RAR, AIRS FRR RS, WEE. REBAR 

等 。 绥 仔 目 的 是 提升 系统 访问 速度 和 增 大 系统 处 理 能 力 ， 可 谓 是 抗 高 并 
及 流量 的 银 弹 。 而 降级 是 当 服 务 出 问题 或 者 影响 到 核心 流程 的 性 能 ， 需 
要 暂时 屏 散 岳 ， 竺 高 峰 过 去 或 者 问题 解雇 后 册 打 开 的 场景 。 而 有 些 场景 
并 不 能 用 绥 存 和 降级 来 解决 ， 比 如 稀缺 资源 (秒杀 、 抢 购 ) 、 瑟 服务 

(如 评论 、 下 单 ) 、 频 莹 的 复杂 俘 询 (评论 的 最 后 几 足 ) S. AE, ma 
有 一 种 手段 来 限制 这 些 场景 下 的 并 友 / 请 求 量 ， 这 种 手段 束 古 限 流 。 


限 流 的 目的 是 通过 对 并 有 访问 /请 求 进行 限 速 或 者 一 个 时 间 窗 口内 的 请 
求 进行 限 速 来 保护 系统 ， 一 旦 达到 限制 速率 则 可 以 拒绝 服务 〈 定 癌 a 到 错 
误 页 或 各 知 资源 没有 了 ) 、 排 队 或 等 每 ‘比如 秒杀 、 评 论 、 下 早 ) . BE 
XZ CRU Be BERD ta» Oa m FE Ts Pe EER A ot) 。 在 压 测 
Psy FA REA AREA AB ERIT] ACh SUE EL, PA Je i EE Be, ORG LE Sd 
RAIL BUN , XEDTB ZG BET aX EY Pa ORR PEAR St AD. Fb, TE DAR 
th RAY Arlt Be. MITE]. np FP SRR AS VA AE DR Vii EU TH. - 


一 般 开 发 蜗 并 发 系统 常见 的 限 流 有 : 限制 总 并 发 数 〈 比 如 数据 库 连 接 
池 、 线 程 池 ) 、 限 制 瞬 时 并 发 数 ( 如 Nginx 的 limit_conn 模 块 ， 用 来 限制 
瞬时 并 发 连接 数 ) 、 限 制 时 间 窗 口内 的 平均 速率 〈 如 Guava 的 
RateLimiter、Nginx 的 limit_req 模 块 ， 用 来 限制 每 秒 的 平均 速率 ) ， 以 及 
限制 远程 接口 调用 速率 、 限 制 MQ 的 消费 速率 等 。 另 外 ， 还 可 以 根据 网 
络 连接 数 、 网 络 流量 、CPU 或 内 存 负 载 等 来 限 流 。 


先 有 缓存 这 个 银 弹 ， 后 有 限 流 来 应 对 618、 双 11 高 并 发 流量 ， 在 处 理 高 
并 发 问题 上 可 以 说 是 如 虎 添 对 ， 不 用 担心 瞬间 流量 导致 系统 挂 掉 或 雪 

朋 ， 最 终 做 到 有 损 服务 而 不 是 不 服务 。 限 流 需 要 评估 好 ， 不 可 乱用 ， 否 
则 正 间 流量 会 出 现 一 些 奇 怪 的 问题 ， 而 导致 用 户 抱 钨 。 


在 实际 应 用 时 ， 也 不 要 太 纠 结算 法 问题 ， 因 为 一 些 限 流 算法 实现 是 一 样 
的 ， 只 是 描述 不 一 样 。 有 具体 使 用 哪 种 限 流 技术 ， 还 是 要 根据 实际 场景 来 
wee, AERA SR ERT, =F RE PR o PY a oe: o 

因 在 实际 工作 中 过 到 过 许多 人 来 问 如 何 进 行 限 流 ， 因 此 本 文 会 详细 介绍 
各 种 限 流 手 段 。 接 下 来 ， 我 们 从 限 流 算法 、 应 用 级 限 流 、 分 布 式 限 流 、 
接 入 层 限 流 来 详细 学 习 限 流 技 术 手 段 。 

4.4 [RR IX 


常见 的 限 流 算法 有 : 令 牌 桶 、 漏 桶 。 计 数 器 也 可 以 用 来 进行 粗暴 限 流 实 
现 。 


4.1.1 c TERRA 


令 牌 桶 算法 ， 是 一 个 存放 国定 容量 令 牌 的 桶 ， 按 照 固定 速率 往 桶 里 添加 
令 牌 。 令 牌 桶 算法 的 描述 如 下 。 


:假设 限制 27s， 则 按照 500 坚 秒 的 固 客 速率 往 桶 中 添加 令 牌 。 
桶 中 最 多 存放 b 个 令 牌 ， 当 桶 满 时 ， 新 添加 的 令 牌 被 丢弃 或 拒绝 。 


当 一 个 n SEA Be BWIA, REMAIN SO, E e 
LAK ACIS PINE E o 


如 来 桶 中 的 令 牌 不 在 n 个 ， 则 不 会 删除 令 牌 ， 且 该 数据 包 将 极限 这 
CELER, BAEZ KS) 。 


令 牌 桶 ES 
1、 限 速 10r/s 

则 按照 100 毫 秒 固 定 速率 填充 令 牌 
NÉ US di 














2、 请 求 一 一 >> 
请 求 的 速率 可 以 突 发 


一 一 4、 人 处 理 请 求 一 > 


并 且 令 牌 桶 允许 这 种 突 发 | 
5、 令 牌 不 足 则 拒绝 请 求 





4.1.2 Jul 5l 


漏 棚 作 为 计量 工具 (The Leaky Bucket Algorithm as a Meter) 时 ， 可 以 
用 于 流量 整形 (Traffic Shaping) 和 流量 控制 〈Traffic Policing) . jh 
算法 的 摘 述 如 下 。 

:一 个 固定 容量 的 漏 棚 ， 按 照 音量 回 定 速率 流出 水 滴 。 

-URMET MA Fa h KI o 

AY DA LME E IE KIA KI EI JS A e 


MRAKA Eh WIRE, MARAK Jo REF) ， 而 
ANAE 





2、 如 果 流 入 速率 过 
快 ， 超 过 了 桶 的 容量 ， 
则 直接 丢弃 水 滴 


令 牌 桶 和 漏 桶 算法 对 比如 下 。 


， 令 牌 桶 是 按照 固定 速率 往 桶 中 添加 令 牌 ， 请 求 是 否 被 处 理 需 要 看 桶 中 
令 牌 是 否 足够 ， 当 令 牌 数 减 为 零 时 ， 则 拒绝 新 的 请 求 。 


。， 漏 桶 则 是 按照 常量 固定 速率 流出 请 求 ， 流 入 请 求 速率 任意 ， 当 流入 的 
请 求 数 累积 到 漏 桶 容量 时 ， 则 新 流入 的 请 求 被 拒绝 ， 


， 令 牌 桶 限制 的 是 平均 流入 速率 (人 允许 突 发 请 求 ， 只 要 有 令 牌 就 可 以 处 
理 ， 支 持 一 次 拿 3 个 令 牌 或 4 个 令 牌 ) ， 并 允许 一 定 程度 的 突 发 流量 。 


， 漏 桶 限制 的 是 常量 流出 速率 〈 即 流出 速率 是 一 个 固定 常量 值 ， 比 如 都 
是 1 的 速率 流出 ， 而 不 能 一 次 是 1， 下 次 又 是 2》， 从 而 平滑 突 发 流入 束 
*. 


. 令 牌 桶 允许 一 定 程度 的 突 发 ， 而 漏 桶 主要 目的 是 平滑 流入 速率 。 


- 两 个 算法 实现 可 以 一 样 ， 但 是 方 癌 是 相反 的 ， 对 于 相同 的 参数 得 到 的 
了 眼 流 效 来 是 一 样 的 。 


万 外 ， 有 时 我 们 还 使 用 计数 亏 来 进行 限 流 ， 主 要 用 来 限制 总 并 肥效 ， 比 
如 数据 库 连 接 池 大 小 、 线 程 池 大 小 、 秘 杀 并 发 数 都 是 计数 器 的 用 法 。 只 
要 全 局 总 请 求 歼 或 者 一 定时 间 段 的 总 请 求 数 达到 设 定 国 值 ， 则 进行 限 
jio WR eH Ta) REL eR, TT Ne PES BRT 


到 此 基本 的 算法 束 介 绍 完 了 ， 接 下 来 我 们 首先 看 看 应 用 级 限 流 。 

4.0. WF ZR yt 

4.2.1 限 流 总 并 发 /连接 /请 求 数 

对 于 一 个 应 用 系统 来 说 ， 一 定 会 有 极限 并 发 /请 求 数 ， 即 总 有 一 个 
TPS/QPS 国 值 ， 如 果 超 了 国 值 ， 则 系统 惑 会 不 啊 应 用 户 请 求 或 啊 应 得 非 
常 慢 ， 因 此 我 们 最 好 进行 过 载 保护 ， 以 防止 大 量 请 求 涌 入 击 共 系统 。 
如 果 你 使 用 过 Tomcat，Connector 其 中 一 种 配置 中 有 如 下 几 个 参数 。 


- acceptCount: 如 末 Tomcat 的 线程 都 已 于 啊 应 ， 新 来 的 连接 会 进入 队 
列 排队 ， 如 采 超 出 排队 大 小 ， 则 拒绝 连接 ; 


: maxConnections: 瞬时 最 大 连接 数 ， 超 出 的 会 排队 等 行 ; 


. maxThreads: Tomcat 能 启动 用 来 处 理 请 求 的 最 大 线程 数 ， 如 果 请 求 
处 理 量 一 直 远 远大 于 最 大 线程 数 ， 则 会 引起 啊 应 变 慢 甚至 会 伪 死 。 


详细 的 配置 请 参考 官方 文档 。 夯 外 ， 如 MySQL Cl 
max connections) ~ Redis (如 tcp- backlog) 都 会 有 类 似 的 限制 连接 数 
的 配置 。 


4.2.2 BR VfL EX JS A 


如 朵 有 的 资源 是 稀缺 资源 (如 数据 库 连 接 、 线 程 》， 而 且 可 能 有 多 个 系 
统 都 会 去 使 用 它 ， 那 么 需要 加 以 限制 。 可 以 使 用 池 化 扩 术 来 限制 总 资源 
数 ， 如 连接 池 、 线 程 池 。 假 设 分 配给 每 个 应 用 的 数据 库 连接 是 100， 那 
么 本 应 用 最 多 可 以 使 用 100 个 资源 ， 超 出 则 可 以 等 竺 或 者 抛 示 种 。 


4.2.3” 限 流 东 个 接口 的 总 并 及 /请 求 数 


如 采 接 口 可 能 会 有 突 发 访问 情况 ， 但 又 担心 访问 量 太 大 造成 朋 吝 ， 如 抢 
购 业 务 ， 那 么 这 个 时 候 吏 需要 限制 这 个 接口 的 总 并 发 /请 求 数 总 请 求 数 
了 。 因 为 粒度 比较 细 ， 可 以 为 每 个 接口 都 设置 相应 的 国 仁 。 可 以 使 用 
Java 中 的 AtomicLong 或 者 Semaphore 进 行 限 汶 ， 在 “隔离 术 ” 中 也 讲 到 


Hystrix 在 信号 量 模式 下 也 使 用 Semaphore 限 制 某 个 接口 的 总 并 发 


try { 
if (atomic.incrementAndGet() > 限 流 数 ) ( 
/ /拒绝 请 求 
} 
/ /处 理 请 求 
rF Zafialiy | 
atomic.decrementAndGet(); 


} 


这 种 方式 适合 对 可 降级 业务 或 者 需要 过 载 你 护 的 服务 进行 限 流 ， 如 抢购 
业务 ， 超 出 限额 ， 要 么 让 用 户 排 队 ， 要 么 香 诉 用 户 没 贯 了 ， 这 对 用 户 来 
说 是 可 以 接受 的 。 而 一 些 开放 平台 也 会 限制 用 户 调 用 茶 个 接口 的 试用 请 
求 量 ， 这 时 束 可 以 用 这 种 计数 右 方 式 实 现 。 这 种 方式 也 是 简单 粗暴 的 限 
沉 ， 设 有 平 消 处 理 ， 需 要 根据 实际 情况 选择 使 用 。 


4.2.4” 限 流 某 个 接口 的 时 间 窗 请 求 数 


即 一 个 时 间 窗 口内 的 请 求 数 ， 如 想 限 制 菜 个 接口 /服务 每 秒 /每 分 钟 /每 天 
的 请 求 数 /调用 量 。 如 一 些 基础 服务 会 被 很 多 其 他 系统 调用 ， 比 如 商品 
详情 页 服务 会 调用 基础 商品 服务 调用 ， 但 是 更 新 量 比 较 大 有 可 能 将 基础 
服务 打 挂 。 这 时 ， 我 们 要 对 每 秒 /每 分 钟 的 调用 量 进 行 限 速 ， 一 种 实现 
方式 如 下 所 示 。 


LoadingCache<Long, AtomicLong> counter = 
CacheBuilder.newBuilder() 
.expireAfterWrite(2, TimeUnit.SECONDS) 
.build(new CacheLoader<Long, AtomicLong»() { 
@Override 
public AtomicLong load(Long seconds) throws Exception { 
return new AtomicLong (0); 
} 
} ) ; 
long limit = 1000; 
while(true) | 
/ /得 到 当前 秒 
long currentSeconds = System.currentTimeMillis() / 1000; 
if(counter.get(currentSeconds).incrementAndGet() > limit) { 
System. out.println ("RY :" + currentSeconds) ; 
continue; 
} 
// 业 务 处 理 
} 


使 用 Guava 的 Cache 来 存储 计数 需 ， 过 期 时 间 设 置 为 2 秒 〈 保 证 能 记录 1 秒 
内 的 计数 ) 。 然 后 ， 我 们 获取 当前 时 间 惟 ， 取 秒 数 来 作为 key 进 行 计 数 
统计 和 限 流 ， 这 种 方式 简单 粗 和 又， 但 应 付 刚 才 说 的 场景 够 用 了 。 


4.2.5 平 请 限 诉 东 个 接口 鸭 请 求 效 

之 前 的 限 流 方式 都 不 能 很 好 地 应 对 突 友 请 求 ， 即 瞬间 请 求 可 能 都 家 多 
计 ， 从 而 导致 一 些 问 题 。 因 此 ， 在 一 些 场 录 中 再 要 对 突 肥 请 求 进 行 整 
形 ， 你 形 为 平均 速率 请 求 处 理 《〈“ 比 如 5rvs， 则 每 隔 200 坚 秒 处 理 一 个 请 
K ARTEK) 。 这 个 时 候 有 两 种 算法 满足 我 们 的 场景 : 令 牌 桶 和 汤 
情 算 法 。Guava 框 淋 近 供 了 令 牌 棚 算 法 实现 ， 可 百 接合 来 使 用 。 


Guava RateLimiterfe £t Ef] RISE n] FJ T ^F TH RA DR f 
(SmoothBursty) 和 平滑 预 热 限 汽 《SmoothWarmingUp) 实现。 


SmoothBursty 


RateLimiter limiter = RateLimiter.create (5); 


System.out .printIn(limiter.acquire()); 
System.out .printIn(limiter.acquire()); 
System.out .printIn(limiter.acquire()); 
System.out .printIn(limiter.acquire()); 
System.out .printIn(limiter.acquire()); 
System.out .printIn(limiter.acquire()); 
将 得 到 闫 似 如 下 的 输出 。 

0.0 

0.198239 

0.196083 

0.200609 

0.199599 

0.19961 


1.RateLimiter.create(5) 表示 棚 容 量 为 5 且 每 秒 新 增 5 个 令 牌 ， 即 每 隔 200 坚 
秒 新 增 一 个 令 牌 。 


2 limiter.acquire()Z€ zn 1H 9€ — TOR. Un AA BUSES RR, WIES, 
功 〈 返 回 值 为 0) , WRASSE, WEY Ta]. Dun. KS 
脾 间 隅 是 200 旱 秒 ， 则 等 每 200 唉 秒 后 再 去 消费 令 脾 (如 上 测试 用 例 返 回 
0.198239， 天 不 多 等 待 了 200 坚 秒 棚 中 才 有 令 牌 可 用 ) ， 这 种 实现 将 突 
发 请 求 速 率 平均 为 固定 请 求 速 率 。 


于 看 一 个 突 友 示例 。 


RateLimiter limiter = RateLimiter.create(5); 


System.out.println(limiter.acquire(5)); 
System.out.println(limiter.acquire(1)); 
System.out.println(limiter.acquire(1)); 

将 得 到 闫 似 如 下 的 输出 。 

0.0 

0.98745 

0.183553 

0.199909 

limiter.acquire(5)Z&z HHA 4 Bt 735 H. BEP SA RE. RR OVE 
一 定 程度 的 突 发 ， 所 以 可 以 一 次 性 消费 5 个 令 脾 ， 但 接 下 来 的 
limiter.acquire(1) 将 等 竺 舌 不 多 1 秒 ， 棚 中 才能 有 令 牌 ， 且 接 下 来 的 请 求 
也 整形 为 固定 速率 了 。 

RateLimiter limiter = RateLimiter.create(5); 
System.out.println(limiter.acquire(10)); 
System.out.println(limiter.acquire( 1)); 
System.out.println(limiter.acquire(1)); 

将 得 到 闫 似 如 下 的 输出 。 

0.0 

1.997428 

0.192273 


0.200616 


同上 面 的 例子 类 似 ， 第 一 秒 突 发 了 10 个 请 求 。 令 牌 桶 算法 也 允许 了 这 种 
RR CIRCE BARI IRD » (Ae FORM limiter.acquire(1)44 3:4 ZA 
29», MPA HEA CH, Fe ROR Ta OR AZ Ay TB) FE RK DI. 

接 下 来 再 看 一 个 突 肥 的 例子 。 

RateLimiter limiter = RateLimiter.create(2); 
System.out.println(limiter.acquire()); 

Thread.sleep(2000L); 

System.out.println(limiter.acquire()); 

System.out.println(limiter.acquire()); 

System.out.println(limiter.acquire()); 

System.out.println(limiter.acquire()); 

System.out.println(limiter.acquire()); 

将 得 到 闫 似 如 下 的 输出 。 

0.0 

0.0 

0.0 

0.0 

0.499876 

0.495799 

1. 创 建 了 一 个 棚 ， 容 量 为 2， 且 每 秒 新 增 2 个 令 牌 。 

2. ii] H]limiter.acquire)7H 9 — SNS, LEI S AURI RI EAS ES OR EHEN 


0) 。 


3. 线 程 暂停 2 秒 ， 接 下 来 的 两 个 limiter.acquireO 都 能 消费 到 令 牌 ， 第 三 个 
limiter.acquire() t [AJ EIB RE f AR, — SS PUT BST SG m e SS E0028 PP 
de 


此 处 可 以 看 到 我 们 设置 的 棚 容 量 为 2〈 即 允许 的 突 肥 量 ) ， 这 有 是 因为 
SmoothBursty 中 有 一 个 参数 : 了 最 大 突 及 秒 数 CmaxBurstSeconds) , Bri 
值 为 1s。 突 友 量 / 桶 容量 = 速率 +maxBurstSeconds， 所 以 本 示例 桶 容量 / 突 
上 用量 为 2。 例 子 中 前 两 个 是 消费 了 之 前 积 斤 的 突 发 量 ， 而 第 三 个 开始 残 
在 正 币 计算 了 。 令 牌 棚 算 法 允许 将 一 段 时 间 内 没有 消费 的 令 牌 暂 存 到 令 
Pa, RBA ASR AE, FP IC EAS TOR EY IER KZ - 


SmoothBursty 通 过 平均 速率 和 最 后 一 次 新 增 令 和 脾 的 时 间 计 算出 下 次 新 增 
令 脾 的 时 间 。 男 外， 需要 一 个 桶 和 暂 存 一 段 时 间 内 没有 使 用 的 令 凰 〈 即 可 
以 突 发 的 令 牌 数 ) 。 另 外 ，RateLimiter 还 提供 了 tryAcquire 方 法 来 进行 无 
BASE EK AY jE ERY EA] <> BLE BF o 


IA] ASmoothBursty f YF — XE FEE HJ28 Ac. 会 有 人 担心 如 果 人 允许 这 种 突 
发 ， 假 设 突然 则 来 了 很 大 的 流量 ， 那 么 系统 很 可 能 拒 个 住 这 种 突 友 。 
此 ， 需 要 一 种 平 靖 速率 的 限 激 工 具 ， 从 而 在 系统 冷 司 动 后 慢 慢 趋 于 平均 
固定 速率 《 即 刚 开始 速率 小 一 些 ， 然 后 慢 慢 趋 于 我 们 设置 的 固定 速 
AX) 。Guava 也 提供 了 SmoothWarmingUp 来 实现 这 种 需求 ， 其 可 以 认为 
是 漏 棚 算 法 ， 但 是 在 攻 些 特殊 场景 又 不 太一 样 。 


SmoothWarmingUp 


创建 方式 : RateLimiter.create(doublepermitsPerSecond, long 
warmupPeriod, TimeUnit unit). 


permitsPerSecond€zn & Pb Hr 4 I] AC, warmupPeriodz€zn A 7$ Ja 2/] 38 
SERE SIT 25] 38 28 AY ERST RT TRI I & 


示例 如 下 。 


RateLimiter limiter = RateLimiter.create(5, 1000, TimeUnit.MILLISECONDS); 
For(int Li = 13 X € 5sgif45) { 
System.out.println(limiter.acquire()); 
} 
Thread.sleep(1000L); 
for(int i= 1; i < 5;it*) { 
System.out.println(limiter.acquire()); 


将 得 到 类 似 如 下 的 输出 。 

0.0 

0.51767 

0.357814 

0.219992 

0.199984 

0.0 

0.360826 

0.220166 

0.199723 

0.199555 
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^F 25xE3€. PART PRR OBIE BRR BIPEDAL 
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到 此 应 用 级 限 流 的 一 些 方 法 就 介绍 完了 。 假 设 将 应 用 部 团 到 多 台 机 器 


上 ， 应 用 级 限 流 方式 只 是 单 应 用 内 的 请 求 限 沉 ， 不 能 进行 全 局 限 沉 。 
此 ， 我 们 需要 用 分 布 式 限 流 和 接 入 层 限 扳 来 解决 这 个 问题 。 


4.3 分布 式 限 流 


分 布 式 限 流 最 关键 的 是 要 将 限 流 服务 做 成 原子 化 ， 而 解决 方案 可 以 使 用 
Redis+Lua 或 者 Nginx+Lua 技 术 进 行 实 现 ， 通 过 这 两 种 技术 可 以 实现 高 并 
及 和 高 性 能 。 


自 和 完 ， 我 们 来 使 用 Redis+Lua 实 现时 间 窗 内 茶 个 接口 的 请 求 数 限 流 ， 实 
现 了 该 功能 后 可 以 改造 为 限 流 总 并 公 / 请 求 数 和 限制 总 资源 效 。Lua 本 喘 
束 是 一 种 编程 语言 ， 也 可 以 使 用 它 实 现 复 森 的 令 牌 桶 或 源 桶 算法 。 


4.3.1 RedistLua 实 现 


local key = KEYS[1] -- 限 流 KEY (一 秒 一 个 ) 

local limit = tonumber(ARGV[1]) =-- 限 流 大 小 

local current = tonumber(redis.call("INCRBY", key, "1")) -- 请 求 数 +1 

if current > limit then -- 如 果 超 出 限 流 大 小 
return 0 

elseif current == 1 then -- 只 有 第 一 次 访问 需要 设置 2 秒 的 过 期 时 间 
redis.call("expire", key,"2") 

end 

return d 


如 上 操作 因 是 在 一 个 Lua 脚 本 中 ， 又 因 Redis 是 单线 程 模型 ， 因 此 线程 安 
全 。 如 上 方式 有 一 个 缺点 就 是 当 达 到 限 流 大 小 后 还 是 会 递增 的 ， 可 以 改 
造成 如 下 方式 实现 。 


local key = KEYS[1] -- 限 流 KEY (一 秒 一 个 ) 
local limit = tonumber (ARGV[1]) -=- 限 流 大 小 
local current = tonumber(redis.call('get', key) or "0") 
if current + 1 > limit then -- 如 果 超 出 限 流 大 小 
return O0 
else -- 请 求 数 +1， 并 设置 2 秒 过 期 
rediss.call(i INORBY", kev,"l") 
redis.call("expire", key,"2") 
return 1 
end 


如 下 是 Java 中 判断 是 个 需要 限 流 的 代 但 。 


public static boolean acquire() throws Exception { 

String luaScript = Files.toString(new File("limit.lua"), 
Charset. defaultCharset()); 

Jedis jedis = new Jedis("192.168.147.52", 6379); 

// 此 处 将 当前 时 间 戳 取 秒 数 

String key = "ip:" + System.currentTimeMillis()/ 1000; 

Stringlimit = "3"; //BRiW X^ 

return (Long)jedis.eval(luaScript,Lists.newArrayList(key), 
Lists. newArrayList (limit) )==1; 


} 


因为 Redis 的 限制 〈Lua 中 有 写 操作 ， 不 能 使 用 带 随 机 性 质 的 读 操 作 ， 如 
TIME) ， 不 能 在 Redis Lua 中 使 用 TIME 获 取 时 间 惟 。 因 此 ， 只 好 从 应 用 
获取 后 传 入 ， 在 某 些 极 闪 情况 下 〈 机 圳 时 钟 不 蕉 ) ， 限 流 会 存在 一 些小 


问题 。 


43.2 Nginx+Lua 实 现 


local locks = require "resty.lock" 

local function acquire() 
local lock =locks:new ("locks") 
local elapsed, err -lock:lock("limit key") -=- 互 斥 锁 
local limit counter -ngx.shared.limit counter -- 计 数 需 
local key = "ip:" ..os.time() 
local limit = 5 -- 限 流 大 小 
local current -limit counter:get (key) 


if current ~= nil and current + 1» limit then -- 如 果 超 出 限 流 大 小 
lock:unlock() 
return 0 
end 
if current -- nil then 
limit counter:set(key, 1 1) -- 第 一 次 需要 设置 过 期 时 间 , 设置 key 的 值 为 1， 
过 期 时 间 为 1 秘 
else 
limit counter:incr(key, 1) -- 第 二 次 开始 加 1 即 可 
end 
lock:unlock() 
return 1 
end 
ngx.print (acquire()) 


实现 中 我 们 需要 使 用 lua-resty-lock 互 斥 锁 模 块 来 解决 原子 性 问题 〈 在 实 
际 工 程 中 使 用 时 请 考虑 获取 人 锁 的 超时 问题 ) ， 并 使 用 ngx.shared.DICT 共 
享 字 典 来 实现 计数 吉 。 如 有 果 需 要 限 流 ， 则 返回 0， 人 否则 返回 1。 使 用 时 需 
要 先 定 义 两 个 共享 字典 〈 分 别 用 来 存放 锁 和 计数 需 数 据 ) 。 


lua shared dict locks 10m; 
lua shared dict limit counter 10m; 


有 人 会 纠结 ， 如 采 应 用 并 有 友 量 非常 大 ， 那 么 Redis 或 者 Nginx 有 是 合 能 打 得 
住 ? 不 过 ， 这 个 问题 要 从 多 方面 考虑 : 你 的 流量 是 不 是 真 的 有 这 么 大 ， 
征 不 是 可 以 通过 一 致 性 哈 布 将 分 布 陈 限 流 进行 分 请 ? 是 不 是 可 以 当 并 友 
量 太 大 时 降级 为 应 用 级 限 流 ? 对策 非常 多 ， 可 以 根据 实际 情况 调节 。 素 


东 目 前 抢购 业务 就 是 使 用 Redis+Lua 来 限 流 的 ， 可 扫 二 维 码 参考 《京东 
抢购 服务 高 并 发 实践 》。 





对 于 分 布 式 限 流 ， 目 前 过 到 的 场景 是 业务 上 的 限 流 ， 而 不 是 流量 入 口 的 
限 流 。 流 量 入 口 限 流 应 该 在 接 入 层 完 成 ， 而 接 入 层 笔 者 一 般 使 用 
Nginx- 
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可 以 参考 《使 用 OpenResty 开 发 高 性 能 Web 应 用 》。 


对 于 Nginx 接 入 层 限 流 可 以 使 用 Nginx 目 种 的 两 个 模块 : 连接 数 限 流 模块 
ngx_http_limit_conn_module 和 汤 桶 算法 实现 的 请 求 限 流 模块 
ngx_http_limit_req_module。 还 可 以 使 用 OpenResty 提 供 的 Lua 限 六 模块 
lua-resty-limit-traffic 心 对 更 复杂 的 限 流 场景 。 


limit_conn 用 来 对 某 个 key 对 应 的 总 的 网 络 连 接 数 进行 限 流 ， 可 以 按照 如 
IP、 域 名 维度 进行 限 流 。limit_req 用 来 对 某 个 key 对 应 的 请 求 的 平均 速率 
进行 限 流 ， 有 两 种 用 法 : 平滑 模式 (delay)〉 和 人 允许 突 友 模式 

(nodelay) 。 


4.4.4 ngx http limit conn module 


limit_conn 是 对 菜 个 key 对 应 的 忌 的 网 络 连接 数 进行 限 流 。 可 以 按照 IP 来 
限制 卫 维 度 的 总 连接 数 ， 或 者 按照 服务 域名 来 限制 霖 个 域名 的 总 连接 
数 。 但 是 ， 记 住 不 是 每 个 请 求 连 接 都 会 习 计 数 器 统计 ， 只 有 那些 被 


Nginx 处 理 的 用 已 经 谈 取 了 整个 请 求 头 的 请 求 连 接 才 会 被 计数 右 统 计 。 
1. 配 置 示例 


HCED | 
limit conn zone S$binary remote addr zone=addr:10m; 
limit conn log level error; 
limlt conn Status 5037 


server { 
和 /limit { 
limit conn addr 17; 
} 
- limit conn: 7: RO ELIT Dey RI WR HY DES 内 存 区 域 和 指定 key 的 最 
大 连接 数 。 此 处 指定 的 最 大 连接 数 是 1， 表 示 Nginx 最 多 同时 并 发 处 理 1 
个 连接 。 


: limit conn zone: ”用 来 配置 限 流 key 及 存放 key 对 应 信息 的 共 至 内 存 区 
域 大 小 。 此 处 的 key 是 “$binary_remote_addr”， 表示 Jp 地 址 ， 也 可 以 使 用 
$server_name 作 为 key 来 限制 域名 级 别 的 最 大 连接 数 。 

: limit conn status: 配置 和 * 限 流 后 返回 的 状态 全， 默认 返回 503。 


limit conn log level: ”配置 记录 被 腿 流 后 的 日 志 级 别 ， 上 默认 error 级 
3] o 


2.limit conn 的 主要 执行 过 程 


”请 求 进入 后 首先 判断 当前 limit_conn_zone 中 相应 key 的 连接 数 是 否 超出 
了 配置 的 最 大 连接 数 。 


:如果 超过 了 配置 的 最 大 大 小 ， 则 被 限 流 ， 人 返回 limit_conn_status 定 义 的 
pem 侍 则 相应 key 的 连接 数 加 1， 并 注册 请 求 处 理 完 成 的 回调 函 
进行 请 求 处 理 。 


:在 结束 请 求 阶段 会 调用 注册 的 回调 函数 对 相应 key 的 连接 数 减 1。 


limt_conn 可 以 限 流 荣 个 key 的 总 并 发 /请 求 数 ，key 可 以 根据 需要 变化 。 
3. 按 照 IP 限 制 并 友 连 接 数 配置 示例 
Hc. XE XIPZEJSE HY BR n DX ER 
limit conn zone $binary remote addr zone-perip:10m; 
接着 在 要 限 流 的 location 中 添加 限 流 逻辑 。 
location /limit { 


limit conn perip 2; 
Seno "1233 


} 

即 允 许 每 个 JP 最 大 并 发 连接 数 为 2。 

使 用 AB 训 试 工具 进行 测试 ， 并 及 数 为 5 个 ， 总 的 请 求 数 为 5 个 。 
ab -n 5 -c 5 http://localhost/limit 

将 得 到 如 下 access.log 输 出 。 

[08/Jun/2016:20:10:51+0800] [1465373451.802] 200 
[08/Jun/2016:20:10:51+0800] [1465373451.803] 200 
[08/Jun/2016:20:10:51 +0800][1465373451.803] 503 
[08/Jun/2016:20:10:51 +0800][1465373451.803] 503 
[08/Jun/2016:20:10:51 +0800][1465373451.803] 503 


此 处 我 们 把 access log 格 式 设置 为 log_format main '[$time local] [$msec] 
$status'; 参数 分 别 表示 时 间 、 时 间 / 坚 秒 值 和 啊 应 状态 人 码 。 


如 果 被 限 流 ， 则 在 error.log 中 会 看 到 类 似 如 下 的 内 容 。 


2016/06/08 20:10:51 [error] 5662#0: *5limiting connections by zo"npee rip", 


client: 127.0.0.1, server: _,request: "GET i/mlit HTTP/1.0", host: "localhost" 
4. 按 照 域名 限制 并 发 连接 数 配置 示例 
首先 ， 定 义 域 名 维度 的 限 流 区 域 。 
limit conn zone $server_name zone-perserver:10m;j 
接着 在 要 限 流 的 location 中 添加 限 流 逻辑。 
location /limit { 
limit conn perserver 2; 


esha "123"; 
} 


即 允 许 每 个 域名 最 大 并 友 请 求 连 接 数 为 2。 这 样 配置 可 以 实现 服务 如 最 
大 连接 数 限 制 。 


4.4.2 ngx http limit req module 


limit_req 是 漏 桶 算法 实现 ， 用 于 对 指定 key 对 应 的 请 求 进行 限 流 ， 比 如 ， 
按照 卫 维 度 限制 请 求 速率 。 配 置 示例 如 下 。 
http 4 


limit req zone $binary remote addr zone=one:10m rate=1r/s; 


limit conn log level error; 
limit conn status 503; 


server { 
location /limit { 


limit req zone=one burst=5 nodelay; 


} 


limit_req: 配置 限 流 区 域 、 棚 容量 〈 突 发 容量 ， 默 认为 0) 、 是 否 延 
迟 模式 《默认 延迟 ) 。 


limit req zone: ”配置 限 流 key、 和 存放 key 对 应 信息 的 共享 内 存 区 域 大 


小 、 固 定 请 求 速 率 。 此 处 指定 的 key 是 “$binary_remote_addr”， 表 示 卫 地 
址 。 国 定 请 求 速 康 使 用 rate 参 数 配 置 ， 支 持 10r/s 和 60r/m， 即 每 秒 10 个 请 
求 和 每 分 钟 60 个 请 求 。 不 过 ， 最 终 都 会 转换 为 每 秒 的 回 定 请 求 速率 
(10rVs 为 每 100 毫 秒 处 理 一 个 请 求 ，60vm 为 每 1000 毫 秒 处 理 一 个 请 
求 ) 。 


: limit conn status: ”配置 被 限 流 后 返回 的 状态 个 ， 默 认 返 回 503。 
limit conn log level: ”配置 记录 被 限 流 后 的 日 志 级 别 ， 上 默认 级 别 为 


CITOT o 
limit red 的 主要 执行 过 程 如 下 。 


C1) 请 求 进 入 后 首先 判断 最 后 一 次 请 求 时 间 相 对 于 当前 时 间 《 第 一 次 


720) ERMER MWR mR MATER, EAI R. 


(2) 如 果 没 有 配置 桶 容量 《burst) , WA AO, E xg PE 
请 求 。 如 果 请 求 补 限 法 ， 则 下 接 返 回 相 应 的 错误 码 〈 豆 认为 503) 。 


如 果 配 置 了 桶 容量 (burst>0〉 及 延迟 模式 (没有 配置 hodelay) . WR 
桶 满 了 ， 则 狐 进 入 的 请 求 被 限 流 。 如 果 没 有 满 ， 则 请 求 会 以 国定 平均 速 
率 补 处理 〈 投 照 固定 速率 并 根据 需要 延迟 处 理 请 求 ， 延 迟 使 用 休眠 实 
Hi. 

"p AO ELIGE (burst>0) 及 非 延 迟 模式 〈 配 置 了 nodelay) ， 则 不 
会 按照 固定 速率 处 理 请 求 ， 而 是 允许 突 友 处 理 请 求 。 如 果 棚 满 了 ， 则 请 
求 被 限 流 ， 直 接 返 回 相 应 的 钳 误 但。 

(3) 如 果 没 有 被 限 沉 ， 则 正 间 处 理 请 求 。 


(4) Nginx 会 在 相应 时 机 选择 一 些 (3 个 节点 ) 限 流 key 进 行 过 期 处 理 ， 
进行 内 存 回 收 。 


1. 场 景 2.1 测 试 
首先 ， 定 义 IP 维 度 的 限 流 区 域 。 


limit req zone $binary remote addr zone=test:10m rate=500r/s; 


限制 为 每 秒 500 个 请 求 ， 固 定 平 均 速 率 为 2 坚 秒 一 个 请 求 。 
接着 在 要 限 流 的 location 中 添加 限 流 逻辑 。 


location /limit 4 
Limit feq 2zone=-test; 
echo "123": 

} 


即 棚 容 量 为 0 (burst 默 认为 0) HIEREN. 

使 用 AB 测 试 工具 进行 测试 ， 并 发 数 为 2 个 ， 总 的 请 求 数 为 10 个 。 

ab -n 10 -c 2 http://localhost/limit 

将 得 到 如 下 access.log 输 出 。 

[08/Jun/2016:20:25:56+0800] [1465381556.410] 200 
[08/Jun/2016:20:25:56 +0800 |[1465381556.410] 503 
[08/Jun/2016:20:25:56 +0800 |[1465381556.411] 503 
[08/Jun/2016:20:25:56+0800] [1465381556.411] 200 
[08/Jun/2016:20:25:56 +0800 |[1465381556.412]| 503 
[08/Jun/2016:20:25:56 +0800 |[1465381556.412]| 503 

里 然 ， 每 秒 允 许 500 个 请 求 ， 但 是 ， 因 为 桶 容量 为 0， 所 以 流入 的 请 求 要 
么 和 被 处 理 要 么 和 被 限 流 ， 无 法 延迟 处 理 。 另 外 ， 平 均 速 率 在 2 坚 秒 左右 ， 
比如 1465381556.410 和 1465381556.411 被 处 理 了 。 有 朋友 会 说 固定 平均 
速率 不 是 1 坚 秒 吗 ? 其 实 这 是 因为 实现 算法 没 那么 精准 造成 的 。 

如 果 和 被 限 流 在 error.log 中 ， 则 会 看 到 如 下 内 容 。 


2016/06/08 20:25:56 [error] 613020: *1962limiting requests, excess: 1.000 
by zone "test", client: 127.0.0.1,server: _, request: "GET /limit HTTP/1.0", 
host:"localhost" 


如 果 被 延迟 ， 那 么 在 error.log (日 志 级 别 要 INFO 级 别 ) 中 会 看 到 如 下 内 
Zia 


2016/06/10 09:05:23 [warn] 9766720: *97021delaying request, excess: 0.368, 
by zone "test", client: 127.0.0.1,server: _, request: "GET /limit HTTP/1.0", 
host:"localhost" 


2. 场 景 2.2 测 试 
首先 ， 定 义 卫 维度 的 限 流 区 域 。 
limit req zone $binary remote addr zone-test:10m rate-2r/s; 


为 了 方便 测试 设置 速率 为 每 秒 2 个 请 求 ， 即 固定 平均 速率 是 500 毫 秒 一 个 


TE Hok o 
接着 在 要 限 流 的 location 中 添加 限 流 逻辑 。 


location /limit { 
limit req zone-test burst-3; 
echo "123" 

} 


固定 平均 速 率 为 500 坚 秒 一 个 请 求 ， 通 容量 为 93， 如 末 桶 满 了 ， 则 新 的 请 
求 补 限 沪 ， 人 否则 可 以 进入 棚 中 排队 并 等 待 〈 实 现 延 迟 模 陈 ) 。 为 了 看 出 
限 流 效果 我 们 写 了 一 个 req.sh 脚 本 。 

ab -c 6 -n 6http://localhost/limit 

sleep 0.3 

ab -c 6 -n 6 http://localhost/limit 


首先 ， 进 行 6 个 并 发 请 求 6 次 URL， 人 再 进行 6 个 并 发 请 
求 6 URL. FEARR EHEN I fE 跨越 2 秒 看 到 效果 ， 如 果 看 不 到 如 
下 的 效果 ， 则 可 以 调节 休眠 时 间 。 


将 得 到 如 下 access.log 输 出 。 


[09/Jun/2016:08:46:43+0800] [1465433203.959] 200 
[09/Jun/2016:08:46:43 +0800][1465433203.959] 503 
[09/Jun/2016:08:46:43 +0800][1465433203.960] 503 
[09/Jun/2016:08:46:44+0800] [1465433204.450] 200 
[09/Jun/2016:08:46:44+0800] [1465433204.950] 200 
[09/Jun/2016:08:46:45 +0800][1465433205.453] 200 
[09/Jun/2016:08:46:45 +0800][1465433205.766] 503 
[09/Jun/2016:08:46:45 +0800][1465433205.766] 503 
[09/Jun/2016:08:46:45 +0800][1465433205.767] 503 
[09/Jun/2016:08:46:45+0800] [1465433205.950] 200 
[09/Jun/2016:08:46:46+0800] [1465433206.451] 200 


[09/Jun/2016:08:46:46+0800] [1465433206.952] 200 


me aii 15f? {相对 十 2.459 秒 ) ; OT 


| 1.0 称 【四 对 于 2.959 秒 ) ; OF 
3.959 Kik: 3^ (delay) + 1 个 








. 4.450 
a 4.950 








: 3 个 (delay) 


| 1.5 相 【相对 于 4.266 种 ) : 
5.453 1.0 秒 【相对 于 4.950 秒 ) ， 


it 


棚 容 量 为 3， 即 桶 中 在 时 间 窗 口内 最 多 流入 3 个 请 求 ， 且 按照 2vs 的 固定 
速率 处 理 请 求 〈 即 每 隔 500 毫 秒 处 理 一 个 请 求 ) 。 桶 计算 时 间 窗 口 〈1.5 
秒 ) = 速率 (2r/s) / 棚 容 量 (3)， 也 融 是 说 在 这 个 时 间 窗 口内 棚 最 多 暂 人 存 3 
个 请 求 。 因 此 ， 我 们 要 以 当前 时 间 往 前 推 1.5 秒 和 1 秘 来 计算 时 间 窗 口内 
的 总 请 求 数 。 态 外 ， 因 为 默认 下 延迟 模式 ， 所 以 时 间 窗 内 的 请 求 要 被 暂 
和 存 到 桶 中 ， 并 以 固定 平均 速率 处 理 请 求 。 


第 一 轮 : 有 4 个 请 求 处 理 成 功 了 ， 欣 照 漏 桶 算法 桶 容量 应 该 最 多 3 个 才 
对 。 这 下 因为 计算 算法 的 问题 ， 第 一 次 计算 因 没 有 参考 值 ， 所 以 第 一 次 
计算 后 ， 后 续 的 计算 才能 有 参 若 什 ， 因 此 ， 第 一 次 成 功 可 以 忽略 。 这 个 
问题 影响 很 小 ， 可 以 忽略 。 而 且 ， 可 按照 固定 500 坚 秒 的 速率 处 理 请 


第 二 轮 : 因为 第 一 轮 请 求 是 突 发 的 ， 关 不 多 都 在 1465433203.959 时 间 
点 ， 只 是 因为 漏 桶 将 速率 进行 了 平滑 ， 变 成 了 固定 平均 速率 (45008 
秒 一 个 请 求 ) 。 第 二 轮 计 算 时 间 应 基于 1465433203.959。 而 第 二 轮 突 发 
请 求 大 不 多 都 在 1465433205.766 时 则 点 ， 因 此 ， 计 算 桶 容量 的 时 间 窗 口 
应 基于 1465433203.959 和 1465433205.766 来 计算 ， 计 算 结 果 为 
1465433205.766 这 个 时 间 点 漏 桶 为 空 了 ， 可 以 流入 桶 中 3 个 请 求 ， 其 他 
请 求 被 拒绝 。 又 因为 第 一 轮 最 后 一 次 处 理 时 间 是 1465433205.453， 所 以 
第 二 轮 第 一 个 请 求 被 延迟 到 了 1465433205.950。 这 里 也 要 注意 固定 平均 
速率 只 是 在 配置 的 速率 左右 ， 存 在 计算 精度 问题 ， 会 有 一 些 往 大 。 

如 果 桶 容量 改 为 1 (burst=1) ， 则 执行 req.sh 脚 本 可 以 看 到 如 下 输出 。 
09/Jun/2016:09:04:30+0800] [1465434270.362] 200 

[09/Jun/2016:09:04:30 +0800][1465434270.371] 503 
[09/Jun/2016:09:04:30 +0800] [1465434270.372]503 
[09/Jun/2016:09:04:30 +0800][1465434270.372] 503 
[09/Jun/2016:09:04:30 +0800][1465434270.372] 503 
[09/Jun/2016:09:04:30--0800] [1465434270.864] 200 


[09/Jun/2016:09:04:31 +0800)[1465434271.178] 503 


[09/Jun/2016:09:04:31 +0800][1465434271.178] 503 
[09/Jun/2016:09:04:31 +0800][1465434271.178] 503 
[09/Jun/2016:09:04:31 +0800][1465434271.178] 503 
[09/Jun/2016:09:04:31 +0800][1465434271.179] 503 
[09/Jun/2016:09:04:31+0800] [1465434271.366] 200 
棚 容 量 为 1， 按 照 每 1000 坚 秘 一 个 请 求 的 固定 平均 速率 处 理 请 求 。 
3. 场 景 2.3 测 试 
H^c, XE X IPZEBZ HJ DR v DX ER o 
limit req zone $binary remote addr zone=test:10m rate=2r/s; 
为 了 方便 测试 配置 为 每 秒 2 个 请 求 ， 固 定 平均 速率 是 500 坚 秒 一 个 请 求 。 
接着 在 要 限 流 的 location 中 添加 限 流 逻辑 。 
location /limit 4 
limit req zone-test burst-3 nodelay; 


echo "T1235": 
} 


傅 容 星 为 ?3， 如 末 桶 满 了 ， 则 直接 拒绝 新 请 求 ， 且 每 2 秒 最 多 两 个 请 求 ， 
棚 投 照 固定 500 坚 秒 的 速率 以 nodelay 模 式 处 理 请 求 。 


为 了 看 到 限 流 效果 ， 我 们 号 了 一 个 req.sh 脚 本 。 
ab -c 6 -n 6http://localhost/limit 

sleep 1 

ab -c 6 -n 6http://localhost/limit 


sleep 0.3 


ab -c 6 -n 6http://localhost/limit 

sleep 0.3 

ab -c 6 -n 6http://localhost/limit 

sleep 0.3 

ab -c 6 -n 6http://localhost/limit 

sleep 2 

ab -c 6 -n 6 http://localhost/limit 

将 得 到 类 似 如 下 的 access.log 输 出 。 
[09/Jun/2016:14:30:11+0800] [1465453811.754]| 200 
[09/Jun/2016:14:30:11+0800] [1465453811.755] 200 
[09/Jun/2016:14:30:11+0800] [1465453811.755] 200 
[09/Jun/2016:14:30:11+0800] [1465453811.759] 200 
[09/Jun/2016:14:30:11 +0800][1465453811.759] 503 
[09/Jun/2016:14:30:11 +0800)[1465453811.759] 503 
[09/Jun/2016:14:30:12+0800] [1465453812.776] 200 
[09/Jun/2016:14:30:12+0800] [1465453812.776] 200 
[09/Jun/2016:14:30:12 +0800)[1465453812.776] 503 
[09/Jun/2016:14:30:12 -0800][1465453812.777] 503 
[09/Jun/2016:14:30:12 +0800)[1465453812.777] 503 


[09/Jun/2016:14:30:12 +0800)[1465453812.777] 503 


[09/Jun/2016:14:30:13 +0800] [1465453813.095]503 
[09/Jun/2016:14:30:13 +0800][1465453813.097] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.097] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.097] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.097] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.098] 503 
[09/Jun/2016:14:30:13+0800] [1465453813.425] 200 
[09/Jun/2016:14:30:13 +0800][1465453813.425] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.425] 503 
[09/Jun/2016:14:30:13 *0800][1465453813.426] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.426] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.426] 503 
[09/Jun/2016:14:30:13+0800] [1465453813.754] 200 
[09/Jun/2016:14:30:13 *0800][1465453813.755] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.755] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.756] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.756] 503 
[09/Jun/2016:14:30:13 +0800][1465453813.756] 503 
[09/Jun/2016:14:30:15+0800] [1465453815.278] 200 


[09/Jun/2016:14:30:15+0800] [1465453815.278] 200 


[09/Jun/2016:14:30:15+0800] [1465453815.278] 200 
[09/Jun/2016:14:30:15 +0800][1465453815.278] 503 
[09/Jun/2016:14:30:15 +0800][1465453815.279] 503 
[09/Jun/2016:14:30:15 +0800][1465453815.279] 503 
[09/Jun/2016:14:30:17+0800] [1465453817.300] 200 
[09/Jun/2016:14:30:17+0800] [1465453817.300] 200 
[09/Jun/2016:14:30:17+0800] [1465453817.300] 200 
[09/Jun/2016:14:30:17+0800] [1465453817.301] 200 
[09/Jun/2016:14:30:17 +0800)[1465453817.301] 503 


[09/Jun/2016:14:30:17 +0800][1465453817.301] 503 


1.5 秒 (相对 于 0.254 秒 ) ; 0 个 
1.0 秒 (相对 于 0.754 秒 ) : 0 个 


1.754 ER: 3 个 +1 个 
^ 1.755 
ie 
1.739 1.5 秒 〈 相 对 于 1.276 秒 ) : 3 个 
1.0 秒 (相对 于 1.776 秒 ) : 0 个 
1.759 Aix: 2 个 





2.776 1.5 秒 〈 相 对 于 1.598 秒 ) : 5 个 


1.0 秒 (相对 于 2.098 秒 ) : 2 个 
2.776 本 次 ， 0 个 


1.5 秒 (相对 于 1.925 秒 ) : 2 个 


3.098 1.0085 (相对 于 2.425 秒 ) ; 2 个 
| AU: 1 个 
1.5 秒 〈 相 对 于 2.254 秒 ) : 3 个 
ats / 10f^ (FUR T 2.7548) : 3 个 


AYR: T - 
1.5 秒 (相对 于 3.778 秒 ) : 0 个 


3.754 1.0 秒 (相对 于 4.278 秒 ) : 0 个 
AIR: 3 个 
5.278 
5.278 


5.278 








7.300 


7.300 
7.301 


EEEN 





棚 容 量 为 3〈 即 桶 中 在 时 间 窗 口内 最 多 流入 3 个 请 求 ) ， 且 按照 2rs 的 固 
定 速率 处 理 请 求 〈 即 每 隔 500 室 秒 处 理 一 个 请 求 ) 。 桶 计算 时 间 窗 口 
(1.5 秒 ) = 速率 (2r/s) / 桶 容量 (3) ， 也 就 是 说 在 这 个 时 间 窗 口内 桶 最 
多 暂 存 3 个 请 求 。 因 此 ， 我 们 要 以 当前 时 间 往 前 推 1.5 秒 和 1 秒 来 计算 时 
间 窗 口内 的 总 请 求 数 。 另 外 ， 因 为 配置 了 nodelay， 是 非 延 迟 模式 ， 所 以 
允许 时 间 窗 内 的 突 发 请 求 。 另 外 ， 从 本 示例 中 会 看 出 两 个 问题 。 


第 一 轮 和 第 七 轮 ， 有 4 个 请 求 处 理 成 功 了 。 这 是 因为 计算 算法 的 问题 ， 
本 示例 是 如 果 2 秒 内 没有 请 求 ， 然 后 突然 来 了 很 多 请 求 ， 那 么 第 一 次 计 
算 的 结果 将 是 不 正确 的 ， 这 个 问题 影响 很 小 ， 可 以 忽略 。 


第 五 轮 : 1.0 秒 计算 出 来 的 是 3 个 请 求 。 此 处 也 是 因 计 算 精 度 的 问题 ， 也 
束 是 说 limit_req 实 现 的 算法 不 是 非 第 精准 ， 假 设 此 处 看 成 相对 于 2.75 的 
话 ，1.0 秒 内 只 有 1 次 请 求 ， 所 以 还 是 允许 1 次 请 求 的 。 


如 果 限 流出 错 了 ， 则 可 以 配置 错误 页 面 。 
proxy intercept errors on; 
recursive error pages on; 


error page 503 //www.jd.com/error.aspx; 


limit conn zone/limit req_zone 定 义 的 内 存 不 足 ， 则 后 续 的 请 求 将 一 下 被 
限 流 ， 所 以 需要 根据 需求 设置 好 相应 的 内 存 大 小 。 


此 处 的 限 流 都 是 单 Nginx 的 ， 假 设 我 们 接 入 层 有 多 个 Nginx， 此 处 束 存 在 
和 应 用 级 限 流 相同 的 问题 。 那 如 何人 处 理 呢 ?一 种 解决 办 法 是 建 并 一 个 负 
载 均 衡 层 ， 按 照 限 流 key 进 行 一 致 性 哈 硕 算法 ， 将 请 求 哈 和 希 到 接 入 层 
Nginx 上 ， 从 而 相同 key 的 请 求 将 打 到 同一 台 接 入 层 Nginx 上 。 男 一 种 解 
决 方案 就 是 使 用 Nginx+Lua (OpenResty) 调用 分 布 式 限 流 逻辑 实现 。 


4.4.3 lua-resty-limit-traffic 


AUST ZB) PA SRE EA E ER a, fEXxEkey. FSET TEAS SL 
PJJ. ARAB AR TES key. EK, BRA) ASP 
PE. ASA AER PEPE EEA SCI Y. BD. ap BE ET OR 
解决 我 们 的 问题 。 而 OpenResty 提 供 了 Lua 限 流 模块 Jua-resty-limit- 

traffic， 通 过 它 可 以 按照 更 复杂 的 业务 迎 辑 进行 动态 限 流 处 理 。 其 提供 
了 limitconn 和 1limitreq 实 现 ， 算 法 与 nginx limit conn 和 1limit req 是 一 样 
的 。 


此 处 我 们 来 实现 ngx_http_limit_req_module 中 的 【场景 2.2 测 试 】， 不 要 
芒 记 下 载 lua-resty-limit-traffic 模 块 并 添加 到 OpenResty 的 lualib 中 。 


配置 用 来 存放 限 流 用 的 共 圣 字典 。 

lua_shared_dict limit req store 100m; 

以 下 是 实现 【场景 2.2 测 试 】 的 限 流 代码 limit_req.lua。 
local limit req = require "resty.limit.req" 


local rate = 2 --[Hig^FAD*X 2r/s 
local burst = 3 -- 桶 容量 


local error status = 503 
local nodelay = false -- 古 含 需 要 不 延迟 处 理 
5 


if not lim then -- 疫 定义 共计 字典 
ngx,exit(error status) 
end 
local key = ngx.var.binary remote addr --IP JEJE 
-- 流 入 请 求 ， 如 来 请 求 需 要 被 延 返 ， 则 delay > 0 
local delay, err = lim:incoming(key, true) 
if not delay and err == "rejected" then --dGHMB T 
ngx.exlItierror Statics) 
end 
if delay > 0 then -- 根 据 需 要 决定 是 延迟 或 者 不 延迟 处 理 
if nodelay then 
--EBER ERR D 
else 
ngx.sleep(delay) -- 延 人 壕 处 理 
end 
end 


即 限 流 人 逻辑 在 Nginx ”access 阶 段 被 访问 ， 如 果 不 被 限 流 ， 则 继续 后 庄 沉 
程 。 如 果 需 要 被 限 流 ， 则 要 么 Sleep 一 段 时 间 继 续 后 续 流 程 ， 要 么 返回 相 
应 的 状态 码 拒绝 请 求 。 


在 分 布 式 限 流 中 ， 我 们 使 用 了 人 简单 的 Nginx+Lua 进 行 分 布 式 限 流 ， 有 了 
这 个 檬 块 也 可 以 使 用 这 个 模块 来 实现 分 布 式 限 流 。 

态 外 ， 在 使 用 Nginxt+Lua 时 也 可 以 获取 ngx.var.connections_active 进 行 过 
载 傈 护 ， 即 如 采 当 前 活跃 连接 数 超 过 国 什 ， 则 进行 限 流 傈 护 。 


if tonumber (ngx.var.connections active) >= tonumber(limit) then 
/ / Bii 


end 


Nginx th fet f limit rateH]2Kot Jit E DRE, "llimit rate 50k， 表 示 限 制 下 
载 速 度 为 50k。 


到 此 笔者 在 工作 中 涉及 的 限 流 用 法 融 介 绍 完 了 ， 这 些 算 法 中 有 些 允 许 突 
肥 ， 有 些 会 整形 为 平 消 ， 有 些 计 算 算 法 简单 粗暴 。 其 中 ， 令 脾 桶 算法 和 
疡 桶 算法 实现 上 是 类 似 的 ， 只 是 表述 有 的 方 同 不 太 一 样 ， 对 于 业务 来 说 不 
必 刻 意 去 区 分 它们 。 因 此 ， 需 要 根据 实际 场景 来 决定 如 何 限 法， 最 好 的 
算法 不 一 定 是 最 适用 的 。 


45 Witt 


有 时 候 我 们 想 在 特定 时 间 窗 口内 对 重复 的 相同 事件 最 多 只 处 理 一 次 ， 或 
者 和 想 限 制 多 个 连续 相同 事件 最 小 执行 时 间 间 隔 ， 那 么 可 使 用 贡 流 

(Throttle) 实现 ， 其 防止 多 个 相同 事件 连续 重复 执行 。 贡 流 主 要 有 如 
下 几 种 用 法 : throttleFirst. throttleLast. throttleWithTimeout. 


4.5.1 throttleFirst/throttleLast 


throttleFirst/ throttleLast 古 指 在 一 个 时 间 窗 口内 ， 如 果 有 重复 的 多 个 相同 
事件 要 处 理 ， 则 只 处 理 第 一 个 或 最 后 一 个 。 其 相当 于 一 个 事件 频率 控制 
研 ， 把 一 段 时 间 内 重复 的 多 个 相同 事件 变 为 一 个 ， 减 少 事件 处 理 频 率 ， 
从 而 减少 无 用 处 理 ， 提 升 性 能 。 


throttleFirst 
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如 上 图 所 示 ，throttleFirst 在 一 个 时 间 窗 口内 只 会 处 理 该 时间 窗 口内 的 第 
一 个 事件 。 


而 throttleLast 会 处 理 该 时 间 窗 口内 的 最 后 一 个 事件 。 


一 个 场景 是 网 页 中 的 resize、scroll 和 mousemove 事件 ， 当 我 们 改变 浏览 
俐 大 小 时 会 触发 resize 事 件 ， 而 深 动 页 面 元 系 时 会 触发 scroll 事 件 。 当 我 
们 快速 连续 执行 这 些 操 作 时 会 连续 触发 这 些 事 件 ， 那 么 可 能 因此 造成 UI 
Rite. Mas Rw, Atk ERG So. MP Rm ITA, ATE 
用 jquery-throttle-debounce-plugin 实 现 ， 而 Android 开 发 可 以 使 用 
RxAndroid 实 现 。 


4.5.2 throttleWithTimeout 


throttleWithTimeout 也 叫 作 debounce 〈 去 抖 ) ， 限 制 两 个 连续 事件 的 先后 
执行 时 间 不 得 小 于 茶 个 时 间 窗 口 。 
pen 一 throttleWithTimeout 
0 © QG0»0 | 6 B 
| Oms 100ms | 200ms ，  300ms 400ms 
| (5) ian (6) | 








如 上 图 所 示 ，throttleWithTimeout 限 制 两 个 连续 事件 的 最 小 则 隔 时 间 窗 
[1. throttleFirst/ throttleLast 是 基于 诀 定 时 间 做 的 处 理 ， 是 以 固定 时 间 窗 
口 为 基准 ， 对 同一 个 固定 时 间 窗 口内 的 多 个 连续 事件 最 多 只 处 理 一 个 。 
而 throttleWithTimeout 是 基于 两 个 连续 事件 的 相对 时 间 ， 当 两 个 连续 事 
件 的 间 阳 时间 小 于 最 小 间隔 时 间 窗 口 ， 束 会 于 工 上 一 个 事件 ， 而 如 果 最 
后 一 个 事件 等 每 了 最 小 间隔 时 间 窗 口 后 还 没有 新 的 事件 到 来 ， 那 么 会 处 
理 最 后 一 个 事件 。 


如 搜索 关键 词 目 动人 补 全 ， 如 果 用 户 每 录入 一 个 字 束 发 送 一 次 请 求 ， 而 先 
输入 的 字 的 目 动 补 全 会 被 很 快 a 到 来 的 下 一 个 字符 窗 新 ， 那 么 会 导 仅 先期 
的 自动 补 全 是 无 用 的 。throttleWithTimeout 就 是 来 解决 这 个 问题 的 ， 通 
过 它 来 减少 频繁 的 网 络 请 求 ， 避 人 免 每 输入 一 个 字 束 导致 一 次 请 求 。 


使 用 RxJava 1.2.0 实 现 的 测试 代码 。 


Observable 


, 


.create(new Observable.OnSubscribe<Integer>() { 

@Override 

public void call (Subscriber<? super Integer> subscriber) { 
//next 实现 ; Thread.sleep(millis); subscriber.onNext (i); 
next (subscriber, 1, 0); //0ms 
next(subseriber, 2, 50)s //50ms 
next(subscriber, 3, 50); //100ms 
next(subscriber, 4, 30); //130ms 
next(subscriber, 5, 40); //170ms 
next(subscriber, 6, 130 

( 


); //300ms 
subscriber.onCompleted() 


)) 

.SubscribeOn(Schedulers.newThread()) 
.throttleWithTimeout(100, TimeUnit.MILLISECONDS) 
. Subscribe (new Subscriber<Integer>() { 


@Override 
public void onNext (Integer i) i 
System.out.println("=="_+ i); 
b) 

参考 资料 
[1] https://en.wikipedia.org/wiki/Token bucket 
[2] https://en.wikipedia.org/wiki/Leaky_ bucket 
[3] http://redis.io/commands/incr 
[4] http://nginx.org/en/docs/http/ngx http limit req module.html 


[5] http://nginx.org/en/docs/http/ngx http limit conn module.html 


[6] https://github.com/openresty/lua-resty-limit-traffic 


[7] http://hginx.org/en/docs/http/ngx http core module.html£limit rate 


5 EAH 


TES RIFF RAR, AIRS FRR ARS, WEE. REBAR 
AE. ANE OR AINE NE. SW ee aT. AR EG BL) cell C0 eg E] 
长 或 不 啊 应 ) 或 非 核 心服 务 影响 到 核心 这 程 的 性 能 时 ， 仍 然 需 要 你 证 服 
务 还 是 可 用 的 ， 即 使 是 有 损 服 务 。 系 统 可 以 根据 一 些 关 键 数 据 进 行 目 动 
降级 ， 也 可 以 配置 开关 实现 人 工 降级 。 本 文 将 介绍 一 些 笔者 在 实际 工作 
中 遇 到 的 或 见 到 过 的 一 坚 降 级 方案 ， 估 大 家 参 乔 。 


降级 的 最 终 目 的 是 保证 核心 服务 可 用 ， 即 使 是 有 损 的 。 而 且 有 些 服务 是 


无 法 降级 的 〈 如 加 入 购物 车 、 结 算 ) 。 降 级 也 需要 根据 系统 的 吞吐 量 、 
啊 应 时 间 、 可 用 率 等 条 件 进行 手工 降级 或 目 动 降级 。 


51 降级 预案 

在 进行 降级 之 前 要 对 系统 进行 梳理 ， 看 看 系统 是 不 是 可 以 于 至 保 是， 从 
而 梳理 出 哪些 必须 誓死 保护 ， 哪 些 可 降级 。 比 如 ， 可 以 参考 日 志 级 别 设 
置 预案 。 


“一般 :” 比 如， 有些 服 务 个 尔 因为 网 络 拌 动 或 者 服务 正在 上 线 而 超时 ， 
可 以 目 动 降级 。 


. 警告: 有 些 服 务 在 一 段 时 间 内 成 功率 有 波动 〈 如 在 95~100% 之 间 ) ， 
可 以 自动 降级 或 人 工 降 级 ， 并 发 送 告警 。 

- 错误 : 比如， 可 用 率 低 于 90%， 或 者 数据 库 连 接 池 用 完了 ， 或 者 访问 
量 突然 狐 增 到 系统 能 承受 的 最 大 网 值 ， 此 时 ， 可 以 根据 情况 上 自动 降级 或 
者 人 工 降级 。 
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降级 。 


PAR TR IE d BERI: 目 动 开 天 降级 和 人 工 开 天 降级 。 


降级 按照 功能 可 分 为 : 谈 服 务 降 级 和 与 服务 降级 。 


降级 按照 处 于 的 系统 层 雇 可 分 为 : 多 级 降级 。 


降级 的 功能 氮 主要 从 服务 耸 症 链 路 考虑 ， 即 根据 用 户 访 问 的 服务 调用 链 
路 来 梳理 哪里 需要 降级 。 


. 页 面 降级 : 在 大 促 或 者 某 些 特殊 情况 下 ， 某 些 页 面 占 用 了 一 些 稀缺 服 
务 资源 ， 在 紧急 情况 下 可 以 对 其 整个 降级 ， 以 达到 丢 卒 保 帅 的 目的 。 


: 页 面 片 上段 降 级 : 比如 ， 商 品 详情 页 中 的 商家 部 分 因为 数据 错误 ， 此 
时 ， 需 要 对 其 进行 降级 。 

页面 异步 请 求 降 级 : 比如， 商品 详情 页 上 有 推荐 信息 /配送 至 等 异步 
加 载 的 请 求 ， 如 果 这 些 信 息 啊 应 慢 或 者 后 端 服务 有 问题 ， 则 可 以 进行 降 
级 。 

- 服务 功能 降级 :， 比如， 泻 染 商品 详情 页 时 ， 需 要 调用 一 些 不 太 重 要 的 
服务 〈 相 关 分 类 、 热 销 榜 等 ) ， 而 这 些 服务 在 异常 情况 下 直接 不 获取 ， 

即 降 级 即 可 。 


. 读 降 级 : 比如 ， 多 级 缓存 模式 ， 如 果 后 端 服务 有 问题 ， 则 可 以 降级 为 
只 读 缓存 ， 这 种 方式 适用 于 对 读 一 致 性 要 求 不 高 的 场景 。 


: 写 降 级 : 比如， 秒杀 抢购 ， 我 们 可 以 只 进行 Cache 的 更 新 ， 然 后 异步 
扣 减 库存 到 DB， 保 证 最 终 一 致 性 即 可 ， 此 时 可 以 将 DB 降级 为 Cache。 


MEHR REAR: 在 大 促 活 动 时 ， 可 以 将 爬虫 流量 寻 癌 静态 页 或 者 返回 空 效 
据 ， 从 而 你 护 后 站 稀缺 资源 。 


. 风 控 降级 ， 如 抢购 /秒杀 等 业务 ， 完 全 可 以 识别 机 器 人 、 用 户 画 像 或 者 
根据 用 户 风 控 级 别 进行 降级 处 理 ， 直 接 拒绝 高 风险 用 户 。 


5.2 ASKER 

自动 降级 是 根据 系统 负载 、 资 源 使 用 情况 、SLA 等 指标 进行 降级 。 
5.2.1 超时 降级 

当 访 问 的 数据 库 /HTTP ”服务 /远程 调用 响应 慢 或 者 长 时 间 响 应 慢 ， 且 该 


服务 不 是 核心 服务 的 话 ， 可 以 在 超时 后 自动 降级 。 比 如 ， 商 品 详情 页 上 
有 推荐 内 容 / 评 价 ， 但 是 ， 推 荐 内 容 /评价 和 暂时 不 展示 ， 对 用 户 购 物流 程 
不 会 产生 很 大 影响 。 对 于 这 种 服务 是 可 以 超时 降级 的 。 如 果 是 调用 别人 
的 远程 服务 ， 则 可 以 和 对 方 定 义 一 个 服务 啊 应 最 大 时 间 ， 如 果 超 时 了 ， 
则 目 动 降级 。 


注意 ， 在 实际 场景 中 一 定 要 配置 好 超时 时 间 和 超时 重 试 次 数 及 机 制 ， 具 
体 细节 请 参考 第 6 章 。 


5.2.2 ”统计 矢 败 识 数 降级 


有 时 依赖 一 些 不 稳定 的 API， 比 如 ， 调 用 外 部 机 票 服务 ， 当 失败 调用 次 
数 达 到 一 定 浆 值 自动 降级 〈 和 熔断 器 ) 。 然 后 通过 异步 线程 去 探测 服务 是 
个 恢复 了 ， 人 恢复 则 取消 降级 。 


5.2.3 ”故障 降级 


比如 ， 要 调用 的 远程 服务 挂 掉 了 《网 络 故障 、DNS 故 障 、HTTP 服 务 返 
回 错误 的 状态 码 、RPC 服 务 抛 出 异常 )， 则 可 以 直接 降级 。 降 级 后 的 处 
理 方案 有 : 默认 值 〈( 比 如 库存 服务 挂 了 ， 返 回 默 认 现 贷 ) < RRA 

(比如 广告 挂 了 ， 返 回 提 前 准备 好 的 一 些 静 态 页 面 ) 、 绥 存 CBE 
的 一 些 绥 存 数据 ) 。 


5.2.4 [Rhea 


当 我 们 去 秒杀 或 者 抢购 一 些 限 购 商品 时 ， 可 能 会 因为 访问 量 太 大 而 导致 
系统 朋 溃 ， 此 时 ， 开 发 者 会 使 用 限 流 来 限制 访问 量 ， 当 达到 限 流 阔 值 

时 ， 后 续 请 求 会 被 降级 。 降 级 后 的 处 理 方案 可 以 是 : 排队 页 面 〈 将 用 户 
导 流 到 排队 页 面 等 一 会 儿 重 试 ) 、 无 货 〈 直 接 告知 用 户 没 货 了 ) 、 错 误 
页 如 活动 太 火爆 了 ， 稍 后 重 试 ) 。 


5.3” 人工 开 关 降 级 


在 大 促 期 间 通 过 监控 及 现 线 上 的 一 些 服务 存在 问题 ， 这 个 时 候 需 要 暂时 
将 这 些 服务 摘 挥 。 还 有 ， 有 时 通过 任务 系统 调用 一 些 服 务 ， 但 是 ， 服 务 
依赖 的 数据 库 可 能 存在 : 网 卡 打 酒 了、 数据 库 挂 挥 了 或 者 很 多 慢 合 斧 ， 


此 时 ， 需 要 暂停 任务 系统 让 服务 方 进行 处 理 。 还 有 有 发现 突 然 调 用 量 大 
大 ， 可 能 需要 改变 处 理 方 式 〈 比 如 同步 转换 为 异步 ) 。 此 时 可 以 使 用 开 
关 来 完成 降级 。 开 关 可 以 存放 到 配置 文件 、 数 据 库 、Redis/ZooKeeper。 
如 采 不 是 存放 在 本 地 ， 则 可 以 定期 同步 开关 数据 《〈 比 如 1 秒 同步 一 

WR) 。 然 后 ， 通 过 判断 茶 个 key 的 值 来 决定 是 个 降级 。 


为 外 ， 对 于 新 开 友 的 服务 如 来 想 上 线 进行 灰 度 测试 ， 但 是 ， 不 太 确 定 该 
服务 的 网 辑 是 售 正 硝 ， 此 时 ， 融 需要 设置 开关 ， 当 新 服务 有 问题 时 可 以 
通过 开关 切换 回 老 服务 。 还 有 多 机 房 服务 ， 如 朱 东 个 机 房 挂 反 了 ， 则 需 
EV c mereri AR E, 


还 有 一 些 是 因为 功能 问题 需要 暂时 屏 散 挥 东 些 功能 ， 比 如 ， 丙 品 规格 参 
数 数据 有 问题 ， 数 据 问 题 不 能 用 回 滚 解 决 ， 此 时 需要 开关 控制 降级 。 


5.4 读 服 务 降 级 


对 于 读 服 务 降 级 一 般 采 用 的 策略 有 : 暂时 切换 读 〈 降 级 到 读 缓存 、 降 级 
到 走 静 态 化 ) 、 暂 时 屏 责 读 〈 屏 走读 和 入口、 屏蔽 某 个 读 服 务 ) 。 在 9.4.5 
节 中 将 介绍 恋 服 务 ， 即 接 入 层 缓存 ”应 用 层 本 地 缓存 ~ 分布 式 绥 存 
_,RPC 服 务 /DPB， 我 们 会 在 接 入 层 、 应 用 层 设 置 开 关 ， 当 分 布 式 缓存 、 
RPC 服 务 /DB 有 问题 时 目 动 降级 为 不 调用 。 当 然 ， 这 种 情况 适用 于 对 读 
一 致 性 要 求 不 高 的 场景 。 


页 面 降级 、 页 面 片 段 降 级 、 页 面 卉 步 请 求 降级 都 是 恋 服 务 降级 ， 目 的 是 
丢 共 你 谢 《〈《 比 如 ， 因 为 这 些 服务 也 要 使 用 核心 资源 ， 或 者 丘 了 市 锅 影 响 
到 核心 服务 ) ， 或 者 因数 扼 问题 芹 时 屏蔽 。 


还 有 一 种 是 页 面 静态 化 场 录 。 


动态 化 降级 为 静态 化 : 比如 ， 平 时 网 站 可 以 走动 态 化 泻 染 商品 详情 页 ， 
但 是 ， 到 了 大 促 来 临 之 际 可 以 将 其 切换 为 静态 化 来 减少 对 核心 资源 的 占 
用 ， 而 且 可 以 提升 性 能 。 其 他 还 有 如 列表 页 、 自 页 、 频 道 页 都 可 以 这 么 
处 理 。 可 以 通过 一 个 程序 定期 推送 静态 页 到 缓存 或 者 生成 到 磁盘 ， 出 问 
题 时 二 接 切 过 去 。 


角 态 化 降级 为 动态 化 : 比如 ， 当 使 用 静态 化 来 实现 丙 品 详情 页 架构 时 ， 


平时 使 用 静态 化 来 提供 服务 ， 但 是 ， 因 为 特殊 原因 静态 化 页 面 有 问题 
了 ， 需 要 暂时 切换 回 动态 化 来 保证 服务 正确 性 ， 
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写 服 务 在 大 多 数 场 景 下 是 不 可 降级 的 ， 不 过 ， 可 以 通过 一 些 寺 回 战术 来 
^in 比如 ， 将 同步 操作 转换 为 异步 操作 ， 或 者 限制 号 的 量 / 比 
Jj. 


比如 ， 扣 减 库存 一 般 这 样 操 作 。 

方案 1 

扣 减 DB 库存 ， 扣 减 成 功 后 ， 更 新 Redis 中 的 库存 。 

方案 2 

+I Redis ze 77, 同步 扣 减 DB 库存 ， 如 果 扣 减 失 败 ， 则 回 深 Redis 库 存 。 

前 两 种 方案 非常 依赖 DB， 假 设 此 时 DB 性 能 跟 不 上 ， 则 扣 减 库存 就 会 遇 
到 问题 。 因 此 ， 我 们 可 以 想到 方案 3: 扣 减 Redis 库 存 ， 正 和 党 同步 扣 减 DB 
库存 ， 性 能 打 不 住 时 ， 降 级 为 发 送 一 条 扣 减 DB 库存 的 消息 ， 然 后 异步 

进行 DB 库存 扣 减 实现 最 终 一 致 即 可 。 
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扣 减 Redis 库 存 ， 正 第 同步 扣 减 DB 库存 ， 性 能 打 不 住 时 降级 为 瑟 扣 减 DB 
库存 消 奶 到 本 机 ， 然 后 本 机 遂 过 和 寞 步 进 行 DB 库 存 扣 减 来 实现 最 终 一 至 
性 。 


也 就 是 说 ， 正 常情 况 下 可 以 同步 扣 减 库存 ， 在 性 能 打 不 住 时 ， 降 级 为 异 
步 。 另 外 ， 如 果 是 秒杀 场景 可 以 直接 降级 为 异步 ， 从 而 保护 系统 。 还 

有 ， 如 下 单 操作 可 以 在 大 促 时 暂时 降级 ， 将 下 单数 据 写 入 Redis， 然 后 
等 峰值 过 去 了 再 同步 回 DB， 当 然 也 有 更 好 的 解决 方案 ， 但 是 更 复杂 ， 

不 是 本 书 的 重点 。 


还 有 如 用 户 评 价 ， 如 果 评 价 量 太 大 ， 那 么 也 可 以 把 评价 从 同步 瑟 降 级 为 
异步 与 。 当 然 也 可 以 对 评价 按钮 进行 按 比 例 开 放 《〈 比 如 ， 一 些 人 看 不 到 
评价 哥 作 按钮 ) 。 比 如 ， 评 价 成 功 后 会 友 一 些 炎 励 ， 在 必要 的 时 候 降 级 


同步 到 异步 。 


56 ”多 级 降级 


绥 存 是 离 用 户 越 近 越 高 效 ， 而 降级 是 离 用 户 越 近 越 对 系统 保护 得 好 。 
为 业务 的 复 林 性 导致 越 到 后 帝 QPS/TPS 越 低 。 


:页面 JS 降 级 开关 : 主要 控制 页 面 功能 的 降级 ， 在 页 面 中 ， 通 过 JS 脚本 
部 署 功能 降级 开关 ， 在 适当 时 机 开局 /关闭 开关 。 


接 入 层 降 级 开关 : 主要 控制 请 求 入 口 的 降级 ， 请 求 进入 后 ， 会 站 先进 
入 接 入 层 ， 在 接 入 层 可 以 配置 功能 降级 开关 ， 可 以 根据 实际 情况 进行 目 
动 /人 工 降级 。 这 个 可 以 参考 第 17 章 ， 尤 其 在 后 端 应 用 服务 出 问题 时 ， 
通过 接 入 层 降 级 从 而 给 应 用 服务 有 足够 的 时 间 恢 复 服 务 。 


“ 应 用 层 降 级 开关 : 主要 控制 业务 的 降级 ， 在 应 用 中 配置 相应 的 功能 开 
天 ， 根 据 实际 业务 情况 进行 目 动 /人 工 降级 。 


在 下 图 的 订单 履约 工作 流 中 ， 整 个 工作 流 可 以 进行 多 级 降级 。 


ARV] BR | 





1. 如 柴 亚 意 订 单 校 验 出 现 不 可 用 的 情况 ， 则 可 以 降级 ， 不 再 同步 进行 亚 
意 校 验 ， 可 以 且 接 绕 过 ， 也 可 以 改 成 弄 步 。 


2. 如 末 订 蛙 计 划 出 现 性 能 下 降 ， 但 还 可 以 处 理 ， 则 在 这 里 优先 处 理 高 优 
级 订单 、 处 理 锡 辑 较 简 单 的 数据 〈 例 单 品 单 件 ) 。 


3. 分 发 订单 时 ， 如 果 仓 库 负 载 饱 和 ， 则 可 以 降低 同 京 东 库 房 的 输送 量 ， 
增 大 其 他 目标 地 的 输送 量 。 


在 工作 流 中 的 每 一 个 流程 中 部 可 以 进行 相应 的 降级 : 优先 处 理 高 优先 级 
数据 、 只 处 理 某 些 特征 的 数据 、 合 理 分 配 流量 到 最 需要 的 场合 。 上 述 内 
FE EHE DE TE DE e 
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5.7 配置 中 心 


我 们 需要 通过 配置 方式 来 动态 开局 /关闭 降级 开关 ， 在 应 用 时 ， 首 先 要 
封 疹 一 套 应 用 层 APT 方 便 业 务 惕 辑 使 用 。 对 于 开关 数据 的 存储， 如 于 涉 
及 的 服务 硕 / 系 统 较 少 ， 则 初期 可 以 和 考 夸 使 用 配置 文件 进行 配置 。 如 末 
涉及 的 服务 亏 / 系 统 较 多 ， 则 应 该 使 用 配置 中 心 进行 配置 。 实 现时 要 做 
到 不 需要 修改 代码 ， 不 需要 和 童 局 应 用 即 可 动态 配置 开 天 。 


5.7.1 应 用 层 API 封 装 
如 下 是 我 们 抽象 并 封装 的 开关 API。 


USER( 
"用 户 信 息 "， 
"user.not.call.backend", "是 否 不 调用 后 端 服务 "， 


"user.call.backend.rate.limit", "调用 后 端 服务 的 限 流 "， 
"user.redis.expire.seconds", "redis 绥 存 过 期 时 间 ")， 
这 其 中 涉及 几 个 配置 。 


: user.not.call.backend: 是 否 回 源 调用 后 端 用 户 服 务 。 如 果 不 开 启 ， 屠 
么 只 会 访问 缓存 ， 不 会 将 流量 打 到 后 关 。 


- user.call.backend.rate.limit: 调用 后 端 服务 的 限 流 ， 比 如 配置 100， 即 
一 秒 只 有 100 个 请 求 会 打 到 后 问 服 务 ， 剩 余 请 求 如 果 绥 存 没 有 命中 时 ， 
则 直接 返回 空 数 据 或 错误 。 


- user.redis.expire.seconds: ”后 端 返回 的 用 户 数 据 在 绥 存 中 绥 存 多 信人。 
通过 封 冯 后， 我 们 可 以 很 简单 地 使 用 这 些 API。 

if (Switches.USER.notCall()) 
return null; 


{ 
j 


或 者 


cacheService.set(CacheKeys.getUserKey(pin), info, 


Switches.USER. getExpiresInSeconds()); 


API 实 现 征 从 配置 文件 获取 相关 配置 ， 如 采 没 有 ， 则 返回 一 个 默认 信 。 


public boolean notCall() { 


return DynamicConfigurer.getBoolean(callKey, false); 


或 者 


public int getExpiresInSeconds() { 
return DynamicConfigurer.getInt(expiresKey, 


DEFAULT EXPIRES IN SECONDS); 


5.7.2 ”使 用 配置 文件 实现 开关 配置 


使 用 properties 文 件 作 为 配置 文件 ， 倍 助 JDK 7 WatchService 实 现 文 件 弯 
更 监听 ， 实 现代 人 码 如 下 所 示 。 


static 1 


try { 
filename - "application.properties"; 


resource = new ClassPathResource (filename); 


// 监 听 filename 所 在 目录 下 的 文件 修改 、 删 除 事 件 


FileSystems.getDefault().newWatchService(); 


watchService - 
Paths.get(resource.getFile().getParent()) 


.register(watchService, 
StandardWatchEventKinds.ENTRY MODIFY, 


StandardWatchEventKinds.ENTRY DELETE); 
properties - PropertiesLoaderUtils.loadProperties(resource); 


} catch (IOException e) {e.printStackTrace();} 

/ /局 动 一 个 线程 监听 内 容 变 化 ， 并 重新 载 入 配置 

Thread watchThread = new Thread(() 
while (true) { 


try ( 
WatchKey watchKey = watchService.take(); 


for (WatchEvent<?> event : watchKey.pollEvents()) { 
if (Objects.equal(event.context ().toString(), 
filename)) ( 


-> d 


properties - 
PropertiesLoaderUtils.loadProperties (resource); 


break; 


watchKey.reset(); 


} catch (Exception e) {e.printStackTrace();} 


AF 
watchThread.setDaemon (true); 


watchThread.start(); 
Runtime.getRuntime().addShutdownHook(new Thread(() -> { 
try { 
watchService.close(); 
) catch (IOException e) 


Fida 


(e:print5tackTrace()p} 


”使 用 WatchService 监 听 “application.properties” 文 件 所 在 目录 内 容 的 变 
化 ， 包 括 人 修改、 删除 事件 。 


”通过 后 人 台 线 程 实现 阻 玫 等 竺 内容 变 化 事件 ， 一 旦 发 现 有 内 容 变 更 ， 如 
果 是 “application.properties” 文 件 有 发 生变 更 ， 则 重新 闭 载 配置 文件 。 


- JVM 停 止 时 记得 关闭 WatchService。 


整体 实现 比较 人 简单， 然后 不可 以 封 疙 properties 实 现 目 己 的 开关 APIT 。 
通过 配置 文件 实现 开关 配置 的 方式 的 缺 氮 是 每 次 配置 文件 内 容 变更 都 珊 
要 将 配置 文件 同步 到 服务 项 上 ， 这 点 算是 比较 豚 烦 的 ， 如 条 目 动 部 普 系 
统 文 持 动 丰 更改 配置 文件 并 同步 用 这 种 方式 ， 那 么 也 并 不 友 舌 。 只 是 如 
朱 要 维护 多 个 项 目 时 ， 则 需要 切换 多 个 界面 来 操作 。 


5.7.3 ”使 用 配置 中 心 实现 开关 配置 


使 用 统一 配置 中 心 ， 或 者 叫 分 布 式 配置 中 心 ， 目 的 是 实现 配置 开关 的 集 
中 管理 ， 要 有 配置 后 台 方 便 开 关 的 配置 ， 对 于 一 般 公 司 来 说 配置 中 心 的 
维护 要 简单， 不 需要 投入 过 多 的 人 力 来 做 这 件 事情 。 配 置 中 心 不 管 是 采 
用 拉 取 模式 还 是 推送 模式 ， 要 考 谍 到 连接 数 和 网 络 市 宽 可 能 市 来 的 风险 
和 问题 。 目 前 有 一 些 开 源 方 案 可 以 选择 ， 如 ZooKeeper、Diamond、 
Disconf、Etcd 3、Consul。 本 文选 择 使 用 Consul， 其 支持 多 数据 中 心 、 
RZE KVER TE, mHE, pel y Web UI 方便 
党 理 ， 更 多 介绍 可 以 参考 Nginx 负 载 均衡 部 分 。 我 们 借助 Consul 的 KV 存 
储 特 性 来 实现 配置 管理 。 


启动 Consul Server 与 HTTP API CRUD 一 样 即 可 。 


/consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul -bind 
0.0.0.0 -client 0.0.0.0 — -ui-dir ./ui/ 


HTTP API CRUD 
Np MEIN 


curl -X PUT -d 
true'http://localhost:8500/v1/kv/item tomcat/user.not.call.backend 


curl -X PUT -d 230 http://localhost:8500/v1l/kv/item tomcat — / 
user.redis.expire.seconds 


item_ tomcat 是 系统 名 ， 后 边 是 配置 名 ，Consul 可 以 通过 目录 层次 实现 多 
级 配置 。 


C 查询 东 个 开关 

curl http://localhost:8500/v1/kv/item_tomcat/user.not.call.backend 
: 查询 东 个 系统 的 开关 

curl http://localhost:8500/v1/kv/item_tomcat?recurse 

通过 添加 recurse 参 数 实 现 目录 树 递 归程 询 ， 可 以 得 到 如 下 疆 


[U'LockIndex":0,"Key":"item tomcat/user.not.call.backend","Flags":0," V 
alue":"ZmFsc2U=","CreateIndex":13009,"ModifyIndex":13192}, 
{"LockIndex":0, 


"Key":"item_tomcat/user.redis.expire.seconds","Flags":0,"Value":"MzA=","C 
reateIndex":13015,"ModifyIndex":13144}] 


PASE ER TS AR ECHJAT AS 


curl "http://192.168.61.129:8500/v1/kv/item_tomcat?t=10s&recurse= 
true&index =13192" 


此 处 的 mdex 取 列表 ModifyIndex 的 最 大 什 ， 当 其 中 的 修改 值 大 于 此 
index， 则 返回 数据 。 也 可 以 添加 “wait=10s” 设 置 超时 时 间 ， 超 时 后 阻 老 
返回 。 

WERE TR IF 


curl -X DELETE 
http://localhost:8500/v1/kv/item_tomcat/user.not.call.backend 


-删除 示 个 系统 开关 


curl -X DELETE http://localhost:8500/v1/kv/item tomcat?recurse 


整体 使 用 比较 简单 ，Consul Web UI 提供 了 可 视 化 配置 ， 在 局 动 时 ， 通 
过 ui-dir 指 定 下 载 的 Web ULB SKB Ay, Acs Fea FATA 


© 192.168.61.129:8500/ui/#/dc1/kv/item_tomcat/u ot.ca kend/edi 


(+3 SERVICES NODES = | |  KEYNALUE ACL a 


ITEM TOMCAT! + 





| 





item tomcat/user.not.call.backenc 





inim 





配置 界面 十 分 简 滞 ， 目 前 存在 的 一 个 缺点 是 没有 配置 项 的 持 述 功能 ， 在 
定义 配置 时 ， 要 起 一 个 好 理解 且 清晰 的 名 字 。 


接 下 来 束 二 要 在 应 用 代码 中 引入 配置 中 心 了 ， 代 人 码 如 下 所 示 。 


private static transient Properties properties = null; 
private static transient String system - "item tomcat"; 
static { 
Consul consul = Consul.builder() 
.WithHostAndPort (HostAndPort.fromString("192.168.61.129:8500")) 
.WithConnectTimeoutMillis (1000) 
.WithReadTimeoutMillis(30 * 1000) 
.WithWriteTimeoutMillis(5000).build(); 
final KeyValueClient keyValueClient = consul.keyValueClient(); 
final AtomicBoolean needBreak = new AtomicBoolean(true); 
Thread thread = new Thread(() -> { 
BigInteger index = BigInteger.ZERO; 
while(true) | 
Properties properties - new Properties(); 
try | 
// 阻 赛 获 取 item tomcat 下 的 数据 (阻塞 30 £P), 
//index 是 item tomcat 下 的 最 后 修改 数据 的 修改 ingex, 为 了 实现 阻塞 ， 
// 此 处 阻塞 时 间 受 readTimeoutMillis i 
List<Value> values = keyValueClient.getValues (system, 
QueryOptions.blockSeconds (30, index) .build()); 
for (Value value : values) { 

_properties.put ( 
value.getKey().substring(system.length() + 1), 
value.getValueAsString().orNull()); 

/ /获取 最 大 的 一 个 最 后 修改 index, 

// 实 现 KeyValueClient #getValues HJPH3EU; |n] 

index = index.max( 

BigInteger.valueOf(value. getModifyIndex())); 


} 

properties — properties; 
} catch (ConsulException e) { 

e.printStackTrace(); 


if(e.getCode() == 404) ( // 如 果 key 不 存在 ， 则 休眠 
cry | Thbeead.sleep[SUIUDI)r J Gater (Exception. el) 1) 
} 
} 
if(needBreak.get() == true) {break; } 


} 
Pig 
thread. run () ;// 先 运行 一 次 
needBreak.set(false); 
thread.setDaemon(true); 
thread.start(); 
} 


在 配置 Consul 时 ， 目 前 我 们 使 用 的 是 IP/PPORT， 实 际 应 用 时 建议 使 用 域 
名 /VIP， 记 得 配置 相关 的 超时 时 间 。 


: KeyValueClient 在 获取 数据 时 使 用 拉 取 模式 〈 长 轮 询 ) ， 可 以 设置 合理 
的 阻塞 时 间 〈 此 时 间 受 限于 Consu] 配 置 的 超时 时 间 ) ， 选 择 最 大 的 
ModifyIndex 17 SH 3& 55:7 . 


- 当 ConsulException 的 code=404 表 示 system 在 配置 中 心 没有 任何 配置 。 


在 加 载 该 类 时 先 运 行 一 次 拉 取 配置 ， 然 后 局 动 后 台 线 程 阻 和 里 拉 取 最 新 
AC B. -o 
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则 只 需要 把 变化 的 进行 下 发 。 

到 此 集成 Consul 配 置 中心 束 完成 了 ， 此 处 只 列 出 了 核心 代码 ， 还 有 一 些 
异 第 情况 需要 大 家 处 理 ， 使 得 配置 中 心 在 应 用 中 做 到 融 可 用 。 


在 第 3 章 中 的 “使 用 Hystrix 实 现 隔离 ”部 分 我 们 已 经 介绍 了 Hystrix 的 作 
用 ， 也 通过 Hystrix 实 现 了 线程 隔离 和 信号 量 隔离 ， 本 部 分 将 介绍 使 用 
Hystrix S Jil BAZ FIA e 


5.8 ”使 用 Hystrix 实 现 降级 


通过 配置 中 心 可 以 进行 人 工 降 级 ， 而 我 们 也 需要 根据 服务 的 超时 时 间 进 
行 自动 降级 ， 本 部 分 将 演示 使 用 Hystrix 实 现 超时 自动 降级 。Hystrix 的 介 
绍 请 参考 第 3 章 中 的 Hystrix 人 简介 部 分 。 


public class GetStockServiceCommand extends HystrixCommand<String> { 
private StockService stockService; 
public GetStockServiceCommand (StockService stockService) { 
super (setter()); 
this.stockService - stockService; 
} 
private static Setter setter() { 
// 服 务 分 组 
HystrixCommandGroupKey groupKey = 
HystrixCommandGroupKey.Factory. asKey ("stock"); 


/ /命令 配置 
HystrixCommandProperties.Setter commandProperties = 
HystrixCommandProperties.Setter() 
.WithExecutionIsolationStrategy (HystrixCommandProperties. 
ExecutionIsolationStrategy. THREAD) 
.withFallbackEnabled (true) // 默 认为 true 


// 黑 认为 10 
.WithFallbackIsolationSemaphoreMaxConcurrentRequests (100) 

// 默 认为 false 
.WithExecutionIsolationThreadInterruptOnFutureCancel (true) 
// 默 认为 true 


.WithExecutionIsolationThreadInterruptOnTimeout (true) 
.WithExecutionTimeoutEnabled(true) // 默 认为 true 
.WithExecutionTimeoutInMilliseconds (1000)// 默 认为 1000 


return HystrixCommand.Setter 
.withGroupKey (groupKey) 
.andCommandPropertiesDefaults (commandProperties); 


} 


QOverride 

protected String run() throws Exception { 
// 可 以 通过 抛 出 异 弟 ， 或 Thread.sleep 模拟 超时 
return stockService.getStock(); 

} 

@Override 

protected String getFallback() {// 降 级 方法 
return "RA"; 

} 

} 


整体 执行 流程 如 下 图 所 示 。 
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首先 ，Command 会 调用 run 方 法 ， 如 果 run 方 法 超时 或 者 抛 出 异常 ， 且 局 
用 了 降级 处 理 ， 则 调用 getFallback 方 法 进行 降级 。 


而 降级 处 理 主要 进行 两 部 分 处 理 : HystrixCommandProperties 配 置 和 
getFallback 降 级 处 理 方法 。 首 和 完 ， 我 们 看 一 下 HystrixCommandProperties 
UM 


- withFallbackEnabled : 十 合 司 用 降级 处 理 ， 如 条 局 用 了 ， 则 在 超时 或 
Ar AS AY Val A getPallbackit 47 VEZ APTE, SAU ZJJTJ8 o 


: withFallbackIsolationSemaphoreMaxConcurrentRequests: fallback% 
法 的 信号 量 配 置 ， 配 置 getFallback 方 法 并 友 请 求 的 信号 量 ， 如 果 请 求 超 
过 了 并 友信 号 量 限 制 ， 则 不 再 尝试 调用 getFallback 方 法 ， 而 是 快速 失 
W BRUM SEN. 


: withExecutionIsolationThreadInterruptOnFutureCancel: [A RKN 


THREAD 时 ， 当 执行 线程 执行 超时 时 ， 是 侣 进行 中 断 处 理 ， 即 
Future#cancel(true) 处 理 ， 上 默认 为 false。 


- withExecutionIsolationThreadInterruptOnTimeout: ” 当 隔 离 策 略为 
THREAD 时 ， 当 执行 线程 执行 超时 时 ， 是 否 进 行 中 断 处 理 ， 默 认为 


true 。 


withExecutionTimeoutEnabled: Fe Ja HAT BUE). SEGA 
true. 


: withExecutionTimeoutInMilliseconds: 执行 超时 时 间 ， 默 认为 1000 坚 
秒 ， 如 果 命 仿古 线程 隅 离 ， 且 配置 了 
executionIsolationThreadInterruptOnTimeout=true， 则 执行 线程 将 执行 中 
WEE. WREE SEA, METAR, HAE SERAS 
主线 程 是 在 一 个 线程 中 执行 ， 其 不 会 中 断 线 程 处 理 ， 所 以 要 根据 实际 情 
况 来 决定 是 含 采 用 信和 号 量 隔 离 ， 尤 其 涉及 网 络 访问 的 情况 。 


当 开 司 了 降级 处 理 ，run 方 法 超时 或 者 异 第 时 将 会 调用 getFallback 处 理 ， 
使 用 getFallback 时 需要 注意 以 下 几 点 。 


”其 最 大 并 发 数 受 fallbackIsolationSemaphoreMaxConcurrentRequests 控 
制 ， 因 此 ， 如 采 失 败 率 非 名 局， 则 要 重新 配置 该 参数 ， 如 末了 最 大 并 及 数 
超 了 该 配置 ， 则 不 会 再 执行 getFallback， 而 是 快速 失败 ， 抛 出 

Jl] *HystrixRuntimeException: GetStockServiceCommand fallback execution 
rejected” HY) 51: H © 


” 该 方法 不 能 进行 网 络 调用 ， 应 该 只 是 缓存 的 数据 ， 或 者 静态 数据 〈 如 
我 们 的 库存 方法 返回 有 货 


如 果 必 须 走 网 络 调用 ， 则 应 该 在 getFallback 方 法 中 调用 为 一 个 
Command 实 现 ， 通 过 Command 可 以 有 降级 和 炊 断 机 制 你 护 应 用 ， 而 
getFallback 只 有 fallbackIsolationSemaphoreMaxConcurrentRequests 参 数控 
制 最 大 并 有 尽数。 


在 使 用 Command 的 业务 代码 处 ， 可 以 使 用 如 下 方法 获取 执行 的 状态 。 


-isResponseTimedOut: "HM z EERI f- 


-isFailedExecution: 执行 是 侣 失败 了 ， 如 抛 出 了 异 第 。 


- getFailedExecutionException: RRRA KIATE A Brun ikii 
EE PES. 


-isResponseFromFallback: 777 7¢getFallbacki& [E] AY) Hg] I < 
5.9 {EH Hystrix Sz ILKA Wr 


5.9.1 熔断 机 制 实现 
Hystrix 提 供 了 熔断 实现 ， 熔 断后 会 自动 降级 处 理 ， 如 下 图 所 示 。 
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Command  7¢ al H HystrixCircuitBreaker#allowRequest#| Mt c MAL J, 
WRIA MI Mff; Command#run DAE ADEE, WRA I. DET 
接 调用 Command# getFallback 方 法 降级 处 理 。 


接 下 来 ， 我 们 看 一 下 HystrixCircuitBreakerImpl# allowRequest 方 法 的 实 
现 。 


public boolean allowRequest() { 
/ WOR AE ATA ae ST IP DUIS E ZR BER 
if (properties.circuitBreakerForceOpen().get()) { 
return false; 
} 
/ WA A RUBIA. MIE as REX 
if (properties.circuitBreakerForceClosed().get()) { 
// 还 是 需要 调用 isOpen 方法 进行 采样 处 理 
isOpen(); 
return true; 
} 
// 正 名 判断 
return !isOpen() || allowSingleTest(); 
} 
// 人 允许 在 一 个 时 间 窗 口内 进行 单 次 访问 测试 
public boolean allowSingleTest() { 
// 熔 断 开 关 打 开 时 ， 最 后 一 次 测试 时 间 
long timeCircuitOpenedOrWasLastTested =circuitOpenedOrLastTestedTime. get () ; 
// 如 宁 熔 断 开 关 处 于 打开 状态 ， 
// 且 在 一 个 时 间 窗 口内 CcircuitBreakerSleepWindowInMilliseconds), 
/ / 则 允许 一 次 访问 进行 测试 
if (circuitOpen.get() && 

System.currentTimeMillis() > 
timeCircuitOpenedOrWasLastTested + 
properties.circuitBreakerSleepWindowInMilliseconds().get()) { 

if (circuitOpenedOrLastTestedTime. 
compareAndSet (timeCircuitOpenedOrWasLastTested, 
System.currentTimeMillis())) ( 


return true; 


| 


return false; 


@Override 
public boolean isOpen() { 
// 如 宁 熔 断 开 关 处 于 打开 状态 ， 则 熔断 降级 处 理 
if (circuitOpen.get()) { 
return true; 


/ I BETTER BABET ALAS RARI] Br BU Xs C3 rf e Ke OT 
HealthCounts health = metrics.getHealthCounts(); 
// 如 果 当 前 采样 的 总 请 求 数 小 于 circuitBreakerRequestVolumeThreshold WË, 


// 则 不 进行 盗 断 
if (health.getTotalRequests() < 
properties.circuitBreakerRequestVolumeThreshold(). get()) { 


return false; 
} 
// 如 果 当 前 采样 的 错误 率 小 于 circuitBreakerErrorThresholdPercentage WË, 
// 则 不 进行 炊 断 
//errorPercentage = errorCount / totalCount * 100 
if (health.getErrorPercentage() < 
properties. circuitBreakerErrorThresholdPercentage().get()) { 
return false; 
} else { 
/ /当前 失败 率 超 过 了 阀 值 ， 进 行 熔断 降级 处 理 
if (circuitOpen.compareAndSet(false, true)) | 
circuitOpenedOrLastTestedTime 
.Set (System. currentTimeMillis()); 
return true; 
} else { 
return true; 


| 
当 我 们 的 熔断 开关 处 于 打开 状态 时 ， 此 时 是 不 允许 处 理 任何 请 求 的 ， 而 


是 直接 降级 处 理 ， 但 是 提供 了 markSuccess 方 法 ， 当 请 求 处 理 成 功 时 进 
AT VE WTIF RAB . 


public void markSuccess() { 
if (circuitOpen.get()) { 
if (circuitOpen.compareAndSet (true, false)) { 


// 重 置 health 采样 ， 不 影响 其 他 采样 


metrics.resetStream(); 


i 


通过 circuitBreakerSleepWindowInMilliseconds 可 以 控制 一 个 时 间 窗 口内 
可 进行 一 次 请 求 测 弃 ， ORM A, NUS TIPS, Fa ETT IT 
状态 ， 从 而 实现 了 快速 失败 和 快速 恢复 。 


天 于 炊 断 开关 需要 知道 如 下 几 个 概念 。 


- WE (Closed) : 如 条 配置 了 和 熔断 开关 强制 财 合 ， 或 者 当前 请 求 失 败 
率 没有 超过 失败 率 园 值 ， 则 和 熔断 开关 处 于 闭合 状态 ， 不 司 动 炊 断 机 制 ， 
即 人 不 进行 降级 处 理 。 


- HJH COpen) : 如 果 配 置 了 燃 靳 开关 强制 打开 ， 或 者 当前 失败 率 超 
过 矢 败 率 国 伍 ， 则 熔断 开关 打开 ， 局 动 炊 岂 机 制 ， 和 根据 配置 调用 降级 处 
理 方法 getFallback 进 行 降级 处 理 。 


半 打 开 CHalf-Open) : 妆 炊 断 处 于 打开 状态 后 ， 不 能 一 直 炊 靳 下 
去 ， 需 要 在 一 个 时 间 窗 口 后 进行 章 试 ， 这 种 状态 就 是 半 打 开 。Hystrix 人 允 
许 在 circuit BreakerSleepWindowInMilliseconds 窗 口内 进行 一 次 重 试 ， 重 
试 成 功 则 闭合 熔断 开关 ， 个 则 熔断 开关 还 是 处 于 打开 状态 。 


那 什么 样 的 请 求 被 认为 是 错误 呢 ，HealthCounts 在 统计 错误 数量 时 使 用 
如 下 方法 。 


public HealthCounts plus(long[] eventTypeCounts) { 
long updatedTotalCount = totalCount; 
long updatedErrorCount - errorCount; 


long successCount = ewntTypeCounts [HystrixEventType.SUCCESS. ordinal(]; 
long failureCount =eventTypeCounts [HystrixEventType. FAILURE. ordinal(]; 
long timeoutCount = egntTypeCounts [HystrixEventType.TIMEOUT. ordinal(]; 
long threadPoolRejectedCount - 
eventTypeCounts[HystrixEventType. THREAD POOL REJECTED.ordinal()]; 
long semaphoreRejectedCount - 
eventTypeCounts[HystrixEventType. SEMAPHORE REJECTED.ordinal()]; 


updatedTotalCount += (successCount + failureCount + timeoutCount + 
threadPoolRejectedCount + semaphoreRejectedCount); 

updatedErrorCount += (failureCount + timeoutCount + 
threadPoolRejectedCount + semaphoreRejectedCount) ; 


return new HealthCounts (updatedTotalCount, updatedErrorCount) ; 


即 失败 (如 异常 )、 超 时 、 线 程 池 拒绝 、 信 与 量 拒绝 数量 总 和 是 失败 总 
A 


5.9.2 ”配置 示例 


下 面 是 HystrixzxCommandProperties 的 熔断 参数 配置 。 


HystrixCommandProperties.Setter commandProperties - 
HystrixCommandProperties. Setter() 

.WwithCircuitBreakerEnabled (true) // 默 认为 true 
.withCircuitBreakerForceClosed (false) // 默 认为 false 
.withCircuitBreakerForceOpen (false) // MUWA false 
.WithCircuitBreakerErrorThresholdPercentage (50) // 默 认为 50g 
.withCircuitBreakerRequestVolumeThreshold(20) // 默 认为 20 
.withCircuitBreakerSleepWindowInMilliseconds (5000)// 默 认为 5s 


RARO ELT XC P Bran e 


- withCircuitBreakerEnabled: 是 人 否 开 局 熔断 机 制 ， 默 认为 true。 


- withCircuitBreakerForceClosed: 是否 强制 关闭 熔断 开关 ， 如 果 强 制 
关闭 了 次 断 开 关 ， 则 请 求 不 会 被 降级 ， 一 些 特殊 场景 可 以 动态 配置 该 开 
A, ERJA 7Jfalse. 


- withCircuitBreakerForceOpen: é15585]j7]JF ARTI, WR UI 
开 了 熔断 开头 ， 则 请 求 中 制 降级 调用 getFallback 处 理 ， 可 以 通过 动态 配 
置 来 打开 该 开关 实现 一 些 特殊 需求 ， 默 认为 false。 


: withCircuitBreakerErrorThresholdPercentage : 如 有 末 在 一 个 采样 时 间 
窗口 内 ， 失 败 率 超 过 该 配置 ， 则 自动 打开 熔断 开关 实现 降级 处 理 ， 即 快 
速 失败 。 默 认 配 置 下 采样 周期 为 10s， 失 败 率 为 509%。 


- withCircuitBreakerRequestVolumeThreshold: — /(EXABIJF2S BIG HITS 
多 下， 在 进行 失败 率 判 断 之 前 ， 一 个 采样 周期 内 必须 进行 至 少 N 个 请 求 
才能 进行 采样 统计 ， 目 的 是 有 旦 够 的 采样 使 得 失败 床 计 算 正确 ， 上 默认 为 
20. 


: withCircuitBreakerSleepWindowInMilliseconds: 熔断 后 的 重 试 时 间 
窗口 ， 且 在 该 时 间 窗 口内 只 人 允许 一 次 重 试 。 即 在 熔断 开关 打开 后 ， 在 二 
时 间 窗 口 人 多 许 有 一 次 重 试 ， 如 采 重 斌 成功 ， 则 将 重 置 Health 采 样 统计 并 
E Nn 快速 恢复 ， 人 否则 熔断 开关 还 是 打开 状态 ， 执 行 快 速 矢 
J 


-KE rec BEA Us HH getFallback 计 1 行 处 理 CfallbackEnabled-true) ， 通 过 
Command 如 Fr iEn] UAE TAE TE. 


isCircuitBreakerOpen : 燃 断 开关 是 合 打 开 了 ， 通 
过 «CircuitBreakerForceOpen(). get) || (!circuitBreakerForceClosed().get() 


&& circuitBreaker.isOpen()) Jr . 


i isResponseShortCircuited : jsCircuitBreakerOpen=true， 且 调用 
getFallback 时 返回 true。 


5.9.3 ”采样 统计 
Hystrix 在 内 存 中 存储 采样 数据 ， 支 持 如 下 三 种 采样 。 


- BucketedCounterStream: 计数 统计 ， 比 如 记录 一 定时 间 窗 口内 的 失 
败 、 超 时 、 线 程 池 拒 绝 、 信 号 量 拒绝 数量 ， 记 录 N 组 。 写 入 数据 时 写 到 
"BN 组 ， 统 计时 使 用 前 N -1 组 数据 ， 因 为 第 N 个 刚 开 始 统 计时 是 随时 变 
化 的 。 然 后 基于 时 间 深 转 采 样 分 组 即 可 。 









































成 功 | a || 2 |] 3 |] 10 |] 15 |] 1 || 2 || 3 || 10 || 15 
失败 | | 10 || 8 || 10 |] 0 || o |] 10 }/ 8 || 10 || O || O 
超时 时 | 1 || 1 |] o |] o |] o J] a |} a fio fio |] o 
线程 拒绝 | 0 | © || o || O || O || oO || oO || oO || o || o 





KEER PR FEIN H HAs, WINDA CD. MERRE — K, 
每 个 分 组 记录 看 当前 棚 的 成 功 、 失 败 、 超 时 、 线 程 拒 绝 统计 数量 。 


RollingConcurrencyStream : 最 大 并 发 数 统计 ， 如 
Command/ThreadPool 的 最 大 并 发 数 。 


RollingDistributionStream: REI B ES. gu 
HystrixRollingNumber 类 似 ， 差 别 在 于 其 是 百 分 位 数 的 统计 。 比 如 每 组 
记录 P〈 比 如 100) 个 数值 ， 统计 时 使 用 前 HUN -1 组 数据 ， 将 分 组 内 数据 按 
从 小 到 大 排序 ， 然 后 昧 加 ， 处 于 第 p % 位 置 的 数值 束 是 p Aaa, M 
过 它 可 以 实现 P50、P99、P999，Hvystrix 用 来 统计 时 延 的 分 布 情况 。 最 新 
版 本 Hystrix 使 用 HdrHistogram 库 来 实现 统计 。 


1.Command、ThreadPool 计 数 /最 大 并 及 采样 统计 


HystrixThreadPoolProperties.Setter threadPoolProperties - 
HystrixThreadPoolProperties.Setter() 
.withMetricsRollingStatisticalWindowInMilliseconds (1000) 
.withMetricsRollingStatisticalWindowBuckets (10); 


HystrixCommandProperties.Setter commandProperties - 
HystrixCommandProperties. Setter() 
.withMetricsRollingStatisticalWindowInMilliseconds (10000) 
.WwithMetricsRollingStatisticalWindowBuckets (10); 


- withMetricsRollingStatisticalWindowInMilliseconds: ”配置 采样 统计 


滚 转 时 间 窗 口 ， 默 认为 10s。 


- withMetricsRollingStatisticalWindowBuckets: ”配置 采用 统计 深 转 时 
则 窗口 内 的 桶 的 总 数量 ， 默 认为 10， 比 如 时 间 和 窗口 为 10000， 桶 数量 为 
10， 则 采样 统计 间 隅 为 每 秒 一 个 桶 统计 。 


2.Command 健 康 度 采 样 统计 


HystrixCommandProperties.Setter commandProperties - 
HystrixCommandProperties. Setter() 


.withMetricsRollingStatisticalWindowInMilliseconds (10000) 
.withMetricsHealthSnapshotIntervallInMilliseconds (500); 


: withMetricsRollingStatisticalWindowInMilliseconds: 同上 所 示 。 


: withMetricsHealthSnapshotIntervalInMilliseconds: 记录 健康 水 用 统 
计 的 快照 频率 ， 默 认为 500ms， 即 500ms 一 个 采样 统计 间隔 ， 那 么 桶 的 
数量 为 10000/500=20 个 。 


该 统计 在 熔断 机 制 中 使 用 ， 如 果 计 算 炊 上 断 的 频率 非常 高 ， 则 要 控制 好 采 
样 的 频 座 ， 如 果 太 频繁 ， 那 么 将 造成 CPU 计 算 密 集 ， 如 10ms 一 个 周期 ， 

因为 会 对 前 N -1 个 桶 进行 统计 ， 计 算 系 加 时 会 耗费 CPU。 所 以 选择 
Hystrix 要 注意 此 处 的 性 能 消耗 和 调 优 。 如 果 此 处 是 性 能 瓶颈 ， 则 可 以 废 
挥 统计 ， 或 者 按照 Hystrix 思 路 实现 日 己 的 降级 组 件 。 


3.Command 时 延 分 布 采样 统计 


HystrixCommandProperties.Setter commandProperties - 
HystrixCommandProperties.Setter() 


.withMetricsRollingPercentileWindowInMilliseconds (60000) 
.withMetricsRollingPercentileWindowBuckets(60); 


[Hi] withMetricsRollingStatisticalWindowInMilliseconds 4l 
withMetricsRollingStatistical WindowBuckets， 上 默认 采样 深 转 时 间 窗 口 为 
60s， 忆 共 6 个 桶 ， 即 采样 统计 间隔 为 每 10 秒 一 个 桶 统计 。 


4. 统 计 结 果 


可 以 调用 Command#getMetrics 获 取 采 样 统计 ， 然 后 通过 
HystrixCommandMetrics 相 关 方 法 获取 统计 数据 。 


getExecutionTimePercentile(50);//P50 
getExecutionTimePercentile(99);//P99 
getExecutionTimePercentile(999);//P999 


也 可 以 订阅 Me irrito adiret getInstance() 进 行 统计 。Hystrix 提 供 
J 了 hystrix-dashboard 进 行 图 形 化 展示 。 


接 下 来 我 们 通过 Turbine + Hystrix-Dashboard 实 现 集群 化 的 统计 可 视 化 。 








Hystrix |. Hystrix Hystrix 
App | App | App 


Turbine 
| Aggregate | 


Hystrix 
Dashboard | 


首先，Hystrix 应 用 会 又 露 统计 接口 ， 然 后 Turbine 会 聚合 这 些 统计 数据 ， 
Hystrix Dashboard 会 拉 取 聚合 后 的 统计 信息 并 展示 到 仪表 盘 上 。 


5.Hystrix 客 户 端 添 加 暴露 统计 信息 Servlet 


@Bean 
public ServletRegistrationBean servletRegistrationBean() { 
return new ServletRegistrationBean( 
new HystrixMetricsStreamServlet(), "/hystrix.stream"); 


| 


在 我 们 的 Hystrix 客 户 端 添加 如 上 spring-boot 代 码 配 置 ， 然 后 就 可 以 访问 
如 http://127.0.0.1:9080/hystrix.stream 获取 到 统计 数据 。 


6.5 Turbine 


下 载 Turbine WAR 包 【〈 本 文 使 用 的 是 Turbine 1.0.0) , ZB Tomcat 
中 ， 然 后 修改 WEB-INF/classes/config.properties 配 置 ， 启 动 Tomcat。 


turbine.ConfigPropertyBasedDiscovery.default.instances=127.0.0.1 


turbine.instanceUrlSuffix=:9080/hystrix.stream 


配置 Hystrix 应 用 的 了 和 获取 统计 信息 的 URL path 部 分 ， 组 合 后 拉 取 统计 
信息 。 访 问 如 http://127.0.0.1:8080/turbine/turbine.stream 获取 聚合 后 的 统 
VAS. 


7.46 Hystrix Dashboard 


PF #hystrix-dashboard WARE (A 3C fi HH] ze hystrix-dashboard 
1.5.60 ， 部 普 到 Tomcat 中 ， 然 后 司 动 Tomcat。 访 问 如 
http://127.0.0.1:8080/hystrix-dashboard}a 5X E Fk © 


在 如 下 界面 添加 要 监控 的 Turbine 地 址 ， 然 后 进入 仪表 盘 就 可 以 看 到 统计 


El 402 0 


Hystrix Dashboard 


Eureka URL: 
Eureka Application: |Choose here Y Stream Type: Hystrix Turbine * 


http://localhost:8080/turbine/turbine stream| 
Cluster via Turbine (default cluster): http://turbine-hostname:port/turbine. stream 
Cluster via Turbine (custom cluster): http://turbine-hostname:port/turbine. stream?cluster- 
[clusterName] 
Single Hystrix App: http: //hystrix-app:port/hystrix. stream 


Delay: ms Title: 


Authorization: 


Add Stream 





Hystrix Stream: http://127.0.0.1:8080/turbine/turbine.stream 


Circuit Sort: Error then Volume | Alphabetical | Volume | Error | Mean | Median | 90 | 99 | 99.5 





getStock 
0|0/|2.0 % 


Hosts 1 90th Oms 
Median ms 99th 0ms 
Mean Oms 998 5th Oms 


Thread Pools Sort: Alphabetical | Volume | 


stock-pool 

179.0/s 

ister: 179.0/s 

Active 0 Max Active 1 
Queued 0 Executions 179 
hool Size 5 Queue Size 10 


6 超时 与 重 试 机 制 
6.1 人 简介 


在 实际 开发 过 程 中 ， 笔 者 见 过 太 多 故障 是 因为 没有 设置 超时 或 者 设置 得 
不 对 而 造成 的 。 而 这 些 故 障 都 是 因为 没有 意识 到 超时 设置 的 重要 性 而 造 
成 有 的。 如果 应 用 不 设置 超时 ， 则 可 能 会 导致 请 求 啊 应 慢 ， 慢 请 求 系 积 导 
致 连锁 反应 ， 甚 至 造成 应 用 雪 朋 。 而 有 些 中 间 件 或 者 框架 在 超时 后 会 进 
行 重 试 〈 如 设置 超时 重 试 两 次 ) ， 旋 服务 天 然 适 合 重 试 ， 但 与 服务 大 多 
不 能 重 试 〈 如 与 订单 ， 如 采写 服务 是 虹 等 的 ， 则 重 试 是 允许 的 ) . EA 
次 数 太 多 会 导致 多 倍 请 求 汽 量 ， 即 模拟 了 DDoS 攻击 ， 后 末 可 能 是 灾 
难 ， 因 此 ， 务 必 设 置 合 理 的 重 试 机 制 ， 并 且 应 该 和 熔断 、 人 快速 失败 机 制 
配合 。 在 进行 代码 Review 时 ， 一 定 记 得 Review 超 时 与 重 试 机 制 |。 


本 章 主 要 从 Web 应 用 和 服务 化 应 用 的 角度 出 发 介绍 如 何 设置 超时 与 重 试 
(系统 层面 的 超时 设置 在 这 里 没有 涉及 ) ， 而 web 应 用 需要 在 如 下 链条 
中 设置 超时 与 重 试 机 制 |。 


浏览 器 /Web 客 户 端 





1， 域 名 解析 2. REER 


负载 均衡 负载 均衡 
Nginx N ginx 





Web 容 器 Web 容 器 
Tomcat Tomcat 


JDBC 客 户 端 JDBC 客 户 端 
SOAZ FP! ni SOA FP! m 
HTTP 2x P yi HTTP Z P 9j 


HTTP 服 务 


从 上 疼 来 看 ， 在 整个 链条 中 的 每 一 个 点 都 要 孝 夸 设置 超时 与 重 试 机 制 。 
而 其 中 最 重要 的 超时 设置 是 网 络 连接 / 读 / 写 的 超时 时 间 设 置 。 


下 面 将 按照 如 下 分 闫 进行 超时 与 重 试 机 制 的 讲解 。 


. 代理 层 超时 与 重 试 : 如 Haproxy、Nginx、Twemproxy， 这 些 组 件 可 实 
现代 理 功 能 ， 如 Haproxy 和 Nginx 可 以 实现 请 求 的 负载 均衡 。 而 
Twemproxy 可 以 实现 Redis 的 分 片 代理 。 需 要 设置 代理 与 后 端 真实 服务 内 
之 间 的 网 络 连 接 / 讯 / 写 超时 时 间 。 


”Web 容 器 超时 : ”如 Tomcat、Jetty 等 ， 提 供 HTTP 服 务 运行 环境 的 ， 需 
要 设置 客户 端 与 容器 之 间 的 网 络 连接 / 读 / 写 超时 时 间 ， 和 在 此 容器 中 黑 





数据 库 
MySQL 





认 Socket 网 络 连 接 / 读 / 写 超 时 时 间 。 

中 间 件 客户 端 超时 与 重 试 — 0: 如 JSF OR ARSOAHEZE) ~ Dubbo, 
IMQ (京东 消息 中 间 件 ) 、CXF、Httpdlient 等 ， 需 要 设置 客户 的 网 络 连 
接 / 读 / 写 超时 时 间 与 失败 重 试 机 制 。 

BN a eZ ti EB NY : 如 MySQL Oracle, 7227) HK EJDBC 
Connection, Statement 网 络 连 车 控 / 读 / 写 超时 时 间 ， 事务 超时 时 间 ， 获 取 
连接 池 连 接 等 竺 时 间 。 


: NoSQL% Finite: 如 Mongo、 Redis， 需 要 设置 其 网 络 连 接 / 试 / 写 超 
时 时 间 ， 获 取 连 接 池 连接 等 待 时 间 。 


业务 超时 : 如 订单 取消 任务 、 超 时 活动 关闭 ， 还 有 如 通过 
Future#get(timeout, unib 限 制 某 个 接口 的 超时 时 间 。 


前端 Ajax 超时 : 浏览 器 通过 Ajax 访问 时 的 网 络 连 接 / 读 / 写 超时 时 间 。 
从 如 上 分 类 可 以 看 出 ， 其 中 最 重要 的 超时 设置 是 网 络 相 关 的 超时 设置 。 


6.2 UH EI E SIX 


XL T HRGE EH] E NginxfllTwemproxy3e WI KG. Bio. A T Nginx 
的 相关 超时 放置 。 


6.2.1 Nginx 


Nginx 主 要 有 4 类 超时 设置 : 79) ome v E. DNSAEDDEBI] vcEL. TE 
超时 设置 ， 如 果 使 用 ngx_lua， 则 还 有 Lua 相 关 的 超时 设置 。 
1. 各 户 闫 超时 议 置 


对 于 客户 问 超 时 主要 设置 有 谍 取 请 求 头 超时 时 间 、 访 取 请 求 体 超时 时 
间 、 发 送 啊 应 超时 时 间 、 长 连接 超时 时 间 。 通 过 客户 疹 超 时 设置 避免 客 
aT MAME AEAEE a F ass ving EP] AY Ab 
理 能 力 。 


: client header timeout time: KERAP m KARTET, AA 


为 60s， 如 下 在 此 超时 时 间 内 容 尸 端 没有 友 太 完 请 求 涉 ， 则 啊 应 
408 (Request Time-out) JA 325 7% P Üi o 


: client body timeout time: KERAP yin AAR IB. SUA J 
60s， 此 超时 时 间 指 的 是 两 次 成 功 谈 操作 间隔 时 间 ， 而 不 是 发 送 整个 请 
求 体 的 超时 时 间 ， 如 果 在 此 超时 时 间 内 客户 首 没有 及 送 任何 请 求 体 ， 则 
lI] 7408 (Request Time-out) 状态 人 码 给 客户 病 。 


- send timeout time: 设置 发 送 啊 应 到 客户 端的 超时 时 间 ， 默 认为 60s， 
此 超时 时 间 指 的 也 是 两 次 成 功 与 操作 间隔 时 间 ， 而 不 是 发 送 整 个 啊 应 的 
pie Ar CE EUER IST Fe] [8] PRSE S 3 CET eg NZ, WW Nginx Se 
A IE FE 


: keepalive timeout timeout [header timeout]: 设置 HITP 长 连接 超时 
时 间 。 其 中 ， 第 一 个 参数 timeout 是 告诉 Nginx 长 连接 超时 时 间 是 多 少 ， 
路 认 为 75s。 和 第 二 个 参数 header_ timeout 用 于 设置 啊 应 头 “Keep-Alive: 
timeout=time”， 即 告知 客户 端 长 连接 超时 时 间 。 两 个 参数 可 以 不 一 

FE. “Keep-Alive: timeout=timne” 啊 应 头 可 以 在 Mozilla 和 Konqueror 系 列 浏 
响 器 中 起 作用 ， 而 MSIE 长 连接 默认 大 约 为 60s， 而 不 会 使 用 “Keep-Alive: 
timeout=time”. ZlHttpclientf£ Z2 fii “Keep-Alive: timeout=time’ 1] v 
头 的 超时 《如 采 不 设置 默认 ， 则 认为 是 永和 ) 。 如 果 timeout 设 置 为 0， 

WU BEAN SS A TR IEF 


此 参数 要 配合 keepalive_disable 和 keepalive_requests 一 起 使 用 。 
keepalive_disable 表 示 茶 用 哪些 浏览 甸 的 长 连接 ， 默 认 值 为 msie6， 即 到 
用 一 些 老 版 本 的 MSIE 的 长 连接 文 持 。keepalive_requests 参 数 的 作用 是 一 
修 客 户 闫 可 以 通过 此 长 连接 的 请 求 次 数 ， 默 认为 100。 


首先 ， 浏 览 器 在 请 求 时 会 通过 如 下 请 求 头 告知 服务 器 是 否 文 持 长 连接 。 
Y Request Headers (ew source 


Accept text/html,application/xhtml-«xml,app 
Accept-Encoding: gzip, deflate, sdch 


Connection: keep-alive 





http/1.08 3 EK BIS XE BE HJ, ua ZEYSIMHTTP isk 4 “Connection: keep- 


alive” 才 能 局 用 。 而 http/1.1 默 认 司 用 长 连接 ， 需 要 添加 HITTP 请 求 
头 “Connection: close? tf] 2X BH]. 


BOR. ünfNginxix Ekeepalive timeout 5s, MX yi EACH P s] v 


o 


Response Headers view source 


Cache-Control: max-age-86488 


Lonnection: keep-alive 





FÉZÉWiresharkdU&,, H UER Jg PH IK SK CH AXE 


11-5SU [SYN] 5ed-U Wirt =U BU WS=756 SACKIPERM=1 
60 80-1674 [Ack] 5eqsl peas Sinare Leno 
66 80-1744 [SYN, ACK] Seq-0 Ack=1 Win=29200 Len=0 MSS=1460 |SACK_PERM=1 WS= 
54 1744-80 [ACK] S5Seq=i Ack=1 win=65536 Len=0 
324 GET /img/1.jpg HTTP/1.1 
60 80-1744 [ACK] Seqel Ack=471 Win=30336 Len=0 
+87 CAPALL 304 NOT MATEA 


20 1 a L Ack 4 wWinas65280 Lernmo 


[287 ee eh 





ei [ACK] a be Ack=467 win=65024 Len=0 






"mg Pg. | 
287 acini: 1 304 Nöt modified 
54 1744-80 [ACK] Seg-1411 Ack-700 win-64768 Len=0 


如 果 Nginx 设 置 keepalive_timeout 10s 108， 则 浏览 器 会 收 到 如 下 响应 头 。 


Y Response Headers view source 
Cache-Control: max-age-864688 


Connection: keep-alive 


Jate: Sun, 64 Sep 2816 03:33:27 GMT 








di 


IRA a Y 


会 在 10s 后 发 送 FIN 主 动 关 闭 连接 。 











1 0.00000000 192.168. 61.1 192.168. 61.129 TCP 54 2765-80 [FIN, ACK] Seq=1 
2 0.00040200 192.168.61.1 192.168.61.129 TCP 66 3053-80 [SYN] Seq=0 Win= 
3 0. 00110900 192.168. 61.129 192.168. 61.1 TCP 60 80-2765 [ACK] Seq-1 Ack- 


4 0.00110900 192.168. 61.129 192.158.51.1 TCP 66 80-3053 [SYN, ACK] Seq=0 
3 0. 00116700 192.168. 61.1 192.158. 51.179 TEP 54 3053-80 [ACK] seg-1 Ack- 
6 0.00193500 192.168. 61.1 192.158. 61.129 HTTP 524 GET /img/1. jpg HTTP/1.1 

7 0.00211100 192.168. 61.129 192.168. 61.1 TCP 60 8023053 [ACK] seq-1 Ack= 
8 0. 00311100 192.168. 61.129 192.168.61.1 HTTP 311 HTTP/1.1 304 Not Modifie 


: 0. 20024200 a 168.61.1 192.168. 61.129 TCP 54 3053-80 [ACK] Seq=471 Ac 
192.168. 61.129 197.158. 51.1 TCP 60 80-3053 S5eq-2 
.168.61.1 192.168.61.129 TCP 54 3053-80||ACK| Seg-471 Ac 


i| -Nginxix &keepalive timeout 75s 30s. 





Yn Pe Chrome?! wo x JWiresharkd E. fEA45sh|, Chrome iš f TCP 
Keep-Alive 来 保持 TCP 连 接 。 在 57s 时 ， 浏 览 器 又 发 出 了 一 次 请 求 。 而 在 
132s 时 ，Nginx 及 出 了 FIN 来 关闭 连接 《75s 后 连接 超时 了 ) 


1 0.00000000 192.168.61.1 192.168.61.129 TCP 66 10949-80 [SYN] Seq-0 win-8192 Len=0 MSS-1460 wS=256 SA 
2 0.00070400 192.168. 61.129 192.168.61.1 TCP 66 80-10949 [SYN, ACK] Seq-0 Ack=1 win=29200 Len=0 MSS-14 
3 0.00075700 192.168. 61.1 192.168.61.129 TCP 54 10949-80 [ACK] Seq-1 Ack-1 win-65536 Len=0 

4 0.00304100 192.168. 61.1 192.168.61.129 HTTP 524 GET /img/1.jpg HTTP/1.1 

5 0.00370300 192.168. 61.129 192.168.61.1 TCP 60 80-10949 [ACK] Seq=1 Ack=471 win-30336 Len=0 

6 0. 00370300 192.168. 61.129 192.168.61.1 HTTP 311 HTTP/1.1 304 Not Modified 











$eq=471 Ack=258 win=65280 Len=0 SLE-1 S 
19 57. 5168670192. 168. 61.129 192.168.61.1 


aren g7t-jJpg HTTP/1.1 
60 80-10949 [ACK] Seéq-258 Ack-941 win=31360 Len=0 
20 57.5168680 192.168.61.129 192.168.61.1 311 HTTP/1.1 304 Not|Modified 


7. 7152340192.168.61.1 192.168.61.129 | 54 10949-80 [ACK] Staq=941 Ack=515 win=65024 Len=0 











: Seq-515 Ack-941 win-31360 Len=0 
54 10949-80 ACK] Seq-941 Ack=516 Win=65024 Len=0 





33|132. 593141 192. 168. 61. 1 192.168.61.129 


prm NN 在 请 求 后 65 秒 左右 时 ， 浏 览 器 重 置 了 连 








97 Z. 14810400 197. 168. 01. 1279 197.10608.061.I TCP I514 [TCP segment of a reassembled PDU] 
98 2.14816500 192.168.61.129 192.168.61.1 HTTP 143 HTTP/1.1 200 OK (image/jpeg) 
99 2.14817400 192.168. 61.1 192.168.61.129 TCP 54 11884-80 [ACK] Seq-582 Ack-110166 win-49548 Len=0 
100 2.14832100 192.168.61.1 192.168.61.129 TCP 54 [TCP window Update] 11884-80 [ACK] Seq-582 Ack-110166 win-65 


103 67.1471390192.168. 61.1 192.168. 61.129 54 11884-80 [RST, ACK] Seq=582 Ack=110166 win=0 Len=0 





AY EUE HAS Fe] A a ERST Ah SN 6, HTTP Sk “Keep- 
Alive: timeout=30” 对 Chrome 和 和 IE 都 没有 起 作用 。 


接着 ， 如 果 Nginx 设 置 keepalive_timeout ”0， 则 浏览 器 会 收 到 如 下 啊 应 
头 。 







Y Response Headers view source 
Cache-Control: max-age-86488 





wt INTO 
bb 1443-80 LSYN] Seq=U Win=8192 Len=U MSS=1460U0 WS=25) 
66 80-1443 [SYN, ACK] Seq=0 Ack=1 win=29200 Len=0 MS 
54 1443-80 [ACK] Seq=1 Ack=1 win=65536 Len=0 

324 GET /img/1.jpg HTTP/1.1 
60 80-1443 [ACK] Seq-1 Ack=471 win=30336 Len=0 







SACK_PERM=1 
5-1460 SACK_PERM 


, ACK] Seq=229 Ack=471 win-30336 Len=( 
Seq=471 Ack=230 win=65280 Len=0 
: ard SERIE Ack- -230 winds Len-t 


54 1443-80 
= cairo 


66 1476-80 GERD win=8192 Len=0 MSS-1460 ws=256 SACK_PERM=1 


66 80-1476 , ACK] Seq=0 Ack=1 win-29200 Len=0 MSSF1460 SACK PERM 
54 1476-80 Seq=1 Ack=1 win=65536 Len=0 

24 GET /img/1.jpg HTTP/1.1 

60 80-1476 [ACK] Seq-1 Ack=471 win=30336 Len=0 

P82 HTTP/1.1 304 Not Modified 


60 80-1476 [FIN, ACK] Seq-229 Ack-471 win-30336 Len-C 

54 1476-80 [ACK] Seq-471 Ack=230 win=65280 Len=0 

54 1476-80 [FIN, "ed — Ack-230 win=65280 Le 
se 


对 于 客户 靖 超 时 设置 ， 要 根据 实际 场景 来 决定 。 如 末 坪 短 连 接 服 务 ， 则 
可 以 考 谍 将 时 间 设 是 得 短 一 些 ， 如 果 是 文件 上 传 ， 则 需要 考虑 设置 得 长 
一 些 。 男 外 ， 笔 者 见 过 很 多 人 对 长 连接 没有 正确 配置 ， 建 议 配 置 完成 后 
通过 抓 包 查看 长 连接 是 否 起 作用 。 keepalive_timeout 和 keepalive_requests 
ER ORO TNR AREAS sp VELIE REBELS a 
关闭 。 

2.DNS iif HT GAY BC 


resolver timeout 30s: 设置 DNS 解析 超时 时 间 ， 默 认为 308。 其 配合 
resolver address ...[valid=time] 进 行 DNS 域 名 解析 。 当 在 Nginx 中 使 用 域名 
时 ， 就 需要 考虑 设置 这 两 个 参数 。 在 Nginx 社 区 版 中 采用 如 下 配置 。 


upstream backend 
server cQ.3.cn; 
server cl.3.cn; 


如 上 两 个 域名 会 在 Nginx 解 析 配 置 文件 的 阶段 被 解析 成 IP 地 址 并 记录 到 
upstream 上 ， 当 这 两 个 域名 对 应 的 IP 地 址 发 生变 化 时 ， 该 upstream 不 会 
侯 更 刹 。 而 Nginx 隘 业 版 是 文 持 动态 更 狐 有 的 。 


一 种 简 早 的 办 法 是 使 用 如 下 方式 ， 每 次 部 会 动态 解析 域名 ， 这 种 情况 在 
多 域名 情况 下 比较 抹 烦 ， 实 现 不 优雅 。 


location /test 4 
proxy pass httpi//oG0.3,.0j 
} 


如 果 使 用 OpenResty， 则 可 以 通过 Lua 库 lua-resty-dns 进 行 DNS 解 析 。 


local resolver = require "resty.dns.resolver" 

local r, err = resolver:new{ 
nameservers = ("8.8.8.8", {"8.8.4.4", 53} }, 
retrans = 5, -- 5 retransmissions on receive timeout 
timeout = 2000, -- 2 sec 


} 


当 使 用 Nginx 1.5.8、1.7.4 遇 到 以 下 代码 时 ， 

could not be resolved(110:Operation timed out); 

BUB 

wrong ident 37278 response for ***.jd.local, expected 33517 
unexpected response for ***.jd.local 


可 能 是 遇 到 了 如 下 BUG Chttp;//nginx.org/en/ CHANGES-1.6. 
http://nginx.org/en/ 


CHANGES-1.8 ). 


Bugfix: requests might hang if resolver was used and a timeout 
occurred during a DNS request. 


请 考虑 升级 到 Nginx 1.6.2、1.7.5 或 者 在 Nginx 本 机 部 署 dnsmasq 提 升 DNS 
解析 性 能 。 


3. 代 理 超时 设置 


Nginx 配 置 如 下 所 示 。 


upstream backend server | 
server 192.168,.061.1:9080 max fails=2 fail timeout-10s weight=1; 
Server 192,.1568.61.129090 mex f3115—-2 faril timeout=10s welgHht-i; 
| 


server { 


location /test { 
proxy connect timeout 5s; 
proxy read timeout 5s; 
proxy send timeout 5s; 


proxy next upstream error timeout; 
proxy next upstream timeout 0; 


proxy next upstream Cries 0; 


proxy pass http://backend server; 
add header upstream addr Supstream addr; 


} 


backend serveriE X. J VI^ EYIRI 4$192.168.61.1:9080 GR Elhello) 和 
192.168.61.1:9090 (返回 hello2) . 


如 上 指令 主要 有 三 组 配置 : 网 络 连 接 / 读 / 写 超 时 设置 、 失 败 重 试 机 制 设 
置 、upstream 存 活 超时 设置 。 


QD 网 络 连接 / 读 / 写 超时 设置 


- proxy connect timeout time: 与 后 端 / 上 游 服务 器 建立 连接 的 超时 时 
团 ， 默 认为 60s， 此 时 间 不 超过 75s。 


: proxy. read timeout time: 议 置 从 后 疹 / 上 游 服务 需 谈 取 啊 应 的 超时 时 
导 ， 默 认为 60s， 此 超时 时 间 指 的 是 两 次 成 功 恋 操作 间隔 时 间 ， 而 不 是 
ie USE n Dy BS ERE ST ENT [8], RE EERTE AT E ERAS ABA AIK 
任何 啊 应 ， 则 Nginx 关 闭 此 连接 。 


` proxy. send. timeout time: ”设置 往 后 并 / 上 游 服 务 器 发 这 请 求 的 超时 时 


间 ， 默 认为 60s， 此 超时 时 间 指 的 是 两 次 成 功 写 操作 间隔 时 间 ， 而 不 古 
发 送 整个 请 求 的 超时 时 间 ， 如 果 在 此 超时 时 则 内 上 游 服 务 磊 没有 接收 任 
何 啊 应 ， 则 Nginx 关 闭 此 连接 。 


对 于 内 网 高 并 发 服务 ， 请 根据 需要 调整 这 几 个 参数 ， 比 如 内 网 服务 
TP999 为 1s， 可 以 将 连接 超时 设置 为 100~500ms， 而 读 超 时 可 以 为 1.5~3s 
左右 。 


D 失败 重 试 机 制 设 置 


: proxy next upstream error | timeout | invalid header | http 500 | 
http 502 | ht tp 503 | http 504 |http 403 | http 404 | non idempotent | 
off ..: 配置 什么 情况 下 需要 请 求 下 一 人 台 上 游 服 务 硕 进行 重 试 。 默 认 
为 “error timeout”。error 表 示 与 上 游 服 务 吉 建立 连接 、 与 请 求 或 者 谈 啊 应 
头 出 错 。timeout 表 示 与 上 游 服务 需 建立 连 撤 、 与 请 求 或 者 谈 啊 应 头 超 
时 。invalid_header 表 示 上 游 服 务 器 返回 空 的 或 错误 的 啊 应 涉 。http_XXX 
表示 上 游 服 务 需 返 回 特 定 的 状态 码 。non_idempotent 表 示 REFC-2616 定 义 
的 非 肾 等 HTTP 方法 (POST, LOCK, PATCH) ， 也 可 以 在 失败 后 重 试 
BB Lvs 4 CRUE GES ITIEGET. HEAD, PUT. DELETE, 
OPTIONS、TRACE 才 可 以 重 试 ) 。offt 表 示 茶 用 重 试 。 


ae 因此 ， 需 要 如 下 两 个 指令 控制 重 试 次 数 和 重 试 超 
时 时 间 。 


- proxy. next, upstream, tries number: 设置 重 试 次 数 ， 默 认 0 表 示 不 限 
制 ， 注 意 些 重 试 识 数 指 的 是 所 有 请 求 识 数 〈 包 括 第 一 次 和 之 后 的 重 试 次 
数 之 和 ) 。 


- proxy next upstream timeout time: 设置 重 试 最 大 超时 时 间 ， 默 认 0 
表示 不 限制 。 


即 在 proxy_next_upstream_timeout 时 间 内 人 允许 proxy_next_upstream _tries 
次 重 试 。 如 果 超 过 了 其 中 一 个 设置 ， 则 Nginx 也 会 结束 重 试 并 返回 客户 
Xm. CA eta) 。 


如 下 配置 表示 当 errowvtimeout 时 重 试 upstream 中 的 下 一 人 台 上 游 服务 右 ， 如 
果 重 试 的 总 时 间 超 过 6s 或 者 重 试 了 1 次 ， 则 表示 重 试 失败 〈 因 为 之 前 已 
经 请 求 一 次 了 ， 所 以 还 能 重 试 1 次 ) ，Nginx 结 束 重 试 并 返回 客户 端 响 


M. 

proxy next upstream error timeout; 

proxy next upstream timeout 6s; 

proxy next upstream tries 2; 

(3) upstream 存 活 超时 设置 

: max fails 和 fail_timeout: 配置 什么 时 候 Nginx 将 上 游 服 务 需 认 定 为 不 
可 用 /不 存活 。 当 上 游 服 务 器 在 fail timeout 时 间 内 失败 了 max fails, Mi 
WA VA EXE RA iA n] FH /不 存活 。 FPL Be FAIN fail_timeout 时 间 内 从 
upstream 摘 挥 该 节点 〈 即 请 求 不 会 转发 到 该 上 游 服 务 占 〉。 
什么 情况 下 被 认定 为 失败 呢 ? 其 由 proxy_next_upstreamze X., 不 过 ,不 
党 proxy_next_upstream 如 何 配 置 ，error, timeout 和 invalid_header 都 将 被 
认为 是 失败 。 

{server 192.168.61.1:9090 max fails-2 fail timeout=10s; 表 示 在 10s 内 如 
霖 失败 了 2 次 ， 则 在 接 下 来 的 10s 内 认定 该 节点 个 可 用 /不 存活 。 这 种 存活 
检测 机 制 只 有 当 访 问 该 上 游 服 务 需 时 ， 采 取 惰 性 检 丛 ， 才 可 以 使 用 
ngX_http_Uupstream_check_module 配 置 主 动 检查 。 

max_fails 设 置 为 0 表示 不 检查 服务 费 是 全 可 用 〈 即 认为 一 直 可 用 )， 如 
采 upstream 中 仅 剩 一 台 上 游 服 务 妖 ， 则 该 服务 右 是 不 会 被 摘除 的 ， 将 从 
不 被 认为 不 可 用 。 

(4) ngx_lua 超 时 设置 

当 我 们 使 用 ngx_lua 时 ， 也 应 考虑 设置 如 下 网 络 连 接 / 读 / 写 超时 。 

lua socket connect timeout 100ms; 


lua socket send timeout 200ms; 


lua socket read timeout 500ms; 


在 使 用 Lua 时 ， 我 们 会 按照 如 下 壳 略 进行 重 试 。 


if (status == 5072 or status == 503 or status == 504) and request time < 
200 then 
resp - capture(proxy uri) 
status = resp.status 
body = resp.body 
request time = request time + tonumber(var.request time) * 1000 
end 


即 如 果 状 态 码 是 500/502/503/504， 并 且 该 次 请 求 耗 时 在 200ms 以 内 ， 则 
我 们 进行 一 次 章 试 。 


6.2.2 Twemproxy 


Twemproxy 是 Twitter 开源 的 Redis 和 Memcache 代 理 中 间 件 ， 其 目的 是 减 
少 与 后 端 缓存 服务 需 的 连接 数 。 


timeout: ”表示 与 后 珊 服 务 占 建 并 连接、 接收 啊 应 的 超时 时 间 ， 默 认 水 
不 超时 。 


server retry timeout 和 server_failure_limit: 当 开 局 auto_eject_hosts， 
即 当 后 端 服 务 咒 不 可 用 时 目 动 摘除 这 些 节 点 并 在 一 定时 间 后 进行 重 试 。 
server_failure_limit 设 置 连续 失败 多 少 次 后 将 节点 临时 摘除 ， 
server_retry_timeout 设 置 摘 除 闻 点 后 等 每 多 久 进行 章 试 ， 从 而 你 证 个 水 
入 性 地 将 节点 摘除 。 


63 Web 容器 超时 


笔者 的 生产 环境 用 的 Java Web 容 器 是 Tomcat， 本 部 分 将 以 Tomcat 8.5 作 
为 例子 进行 讲解 。 

: connectionTimeout: 配置 与 客户 疹 建 立 连 接 的 超时 时 间 ， 从 接收 到 连 
接 后 ， 在 配置 的 时 间 内 没有 接收 到 客户 凯 请 求 行 ， 将 被 认定 为 连接 超 
时 ， 默 认为 60000 (60s) 。 

: socket.soTimeout: 从 客户 凯 谈 取 请 求 数据 的 超时 时 间 ， 默 认同 


connectionTimeout, NIOAINIO2 x FZ £i . 


asyncTimeout: Servlet 3 异步 请 求 的 超时 时 间 ， 默 认为 
30000 (30s) 。 


disableUploadTimeout 和 connectionUploadTimeout: 当 配 置 
disableUploadTimeout 为 false 时 〈 默 认为 tue， 和 connectionTimeonut 一 
样 ) ， 文 件 上 传 将 使 用 connectionUploadTimeout 作 为 超时 时 间 。 


keepAliveTimeout 和 maxKeepAliveRequests: “和 Nginx 配 置 类 似 。 
keepAliveTimeout 默 认为 connectionTimeout， 配 置 为 -1 表示 永 不 超时 。 
maxKeepAliveRequests 默 认为 100。 


6.4 中 国 件 客 户 关 超 时 与 重 试 


JSEF 是 京东 目 研 的 SOA 框 架 ， 主 要 有 三 个 组 件 : 注册 中 心 、 服 务 提供 
Xm. HET IH Pu. 


Ti ose TEARS He Dom / 3E D ving SIE A P US ZZ AEST HIR AS TEE EUST RT VÀ 
配置 timeout (调用 注册 中 心 超时 时 间 ， 默 认为 5s) 和 
connectTimeout 〈 和 连接 注册 中 心 的 超时 时 间 ， 默 认为 20s) 。 


服务 提供 疹 可 以 配置 timeout〈 服 务 需 问 调用 超时 时 间 ， 默 认为 5s) 。 


服务 消费 端 可 以 配置 timeout 〈 调 用 端 调用 超时 时 间 ， 默 认为 5$) 、 
connectTimeout (建立 连接 超时 时 间 ， 默 认为 5s)、 

disconnectTimeout 〈 上 断 开 连接 /等 竺 结果 超时 时 间 ， 默 认为 10$S) 、 
reconnect (Wal H im HEAL ARS asim IA, BB) FOR ANA IE, 
路 认为 108) ~ heartbeat (iil FJ mít Hk 2$ rm ACD BRK ALATA, BZ) 
0 代表 不 发 送 ， 默 认为 308) 和 retries 〈 失 败 后 重 试 次 数 ， 默 认 0 不 重 

试 ) 。 


Dubbo 也 有 类 似 的 配置 ， 在 此 就 不 袭 述 了 。 


JMQ 是 京东 消息 中 间 件 ， 主 要 有 四 个 组 件 ， 注 册 中 心 、Broker (JMQ 的 
服务 器 端 实例 ， 生 产 和 消费 消息 都 跟 它 交互 ) 、 生 产 者 、 消 费 痢 。 


首先 是 在 生产 者 /消费 者 与 Broker 进 行 发 送 /接收 消息 时 ， 可 以 配置 
connectionTimeout 〈 连 接 超时 ) 、sendTimeout〈 人 发 送 超时 ) 和 
soTimeout 〈 读 超时 ) 。 


生产 者 可 以 配置 retryTimes〈 友 送 失 败 后 的 重 斌 次数 ， 稚 认为 2 次 ) 。 
消费 者 可 以 配置 pullTimeout《〈 长 轮 询 超 时 时 间 ， 即 拉 取 消息 超时 时 

lH) ~ maxRetrys (最 大 重 试 次 数 ， 对 于 消费 者 要 允许 无 限制 重 试 ， 即 
— BAYA) . retryDelay 〈 重 斌 延迟 ， 通 过 exponential 配 置 延 开 增 加 
倍数 一 直 增 加 到 maxRetryDelay) . maxRetryDelay (KEWER) 。 
消费 者 还 需要 配置 应 答 超时 时 间 《〈 有 上 服务器 端 需要 等 竺 各 户 关 返回 应 答 才 
AEM ERAS, WRIA Sik lal, WSS VARI, FER BAY TA] A al 
EAN YE AI BE I Oe, D LS REI] Jn BE BIE 9x) e 

对 于 消息 中 间 件 ， 我 们 在 实际 应 用 中 关注 超时 配置 会 少 一 些 ， 因 为 生产 
者 默认 配置 了 重 试 次 数 ， 可 能 会 存在 重复 消 和 已， 消费 者 需要 进行 去 重 处 


CXF 可 以 通过 如 下 方式 配置 CXF 客 户 端 连 接 超时 、 等 待 啊 应 超时 和 长 连 
接 。 


HTTPClientPolicy httpClientPolicy = new HTTPClientPolicy(); 
httpClientPolicy.setConnectionTimeout(30000);//5 iA 7330s 
httpClientPolicy.setReceiveTimeout(60000); /默认 为 60s 


httpClientPolicy.setConnection(ConnectionType.KEEP_ALIVE);/ 默 认为 
Keep-Alive 


((HTTPConduit)client.getConduit()).setClient(httpClientPolicy); 
Httpclient 4.2.xA) LRT UN BRAS BC EMAER Se IC VE ENT EY [H] « 
HttpParams params = new BasicHttpParams(); 

/设置 连接 超时 时 间 

Integer CONNECTION_TIMEOUT = 2 * 1000; ”// 设 置 请 求 超时 2s 
Integer SO TIMEOUT - 2 * 1000; /设置 等 竺 数据 超时 时 间 2s 


Long CONN MANAGER, TIMEOUT = 1L * 1000; NE SLT SM 


/ClientConnectionManager 中 检索 ManagedClientConnection 
/实例 时 使 用 的 坚 秒 级 的 超时 时 间 


params.setIntParameter( CoreConnectionPNames. CONNECTION TIMEOUT 
, CONNECTION TIMEOUT); 


params.setIntParameter( CoreConnectionPNames.SO TIMEOUT 
SO TIMEOUT); 


/在 提交 请 求 之 前 ， 测 试 连接 是 人 否 可 用 


params.setBooleanParameter(CoreConnectionPNames.STALE CONNECTIOi| 
, true) ; 


/这 个 参数 期 望 得 到 一 个 java.lang.Long 凑 型 的 值 。 如 果 这 个 参数 没有 被 
WE 


// 则 连接 请 求 束 不 会 超时 《无限 大 的 超时 时 间 ) 


params.setLongParameter(ClientPNames.CONN MANAGER TIMEOUT , 
CONN MANAGER, TIMEOUT); 


PoolingClientConnectionManager conMgr = new 
PoolingClientConnectionManager(); 


conMgr.setMaxTotal(200);// 设 置 最 大 连接 数 
/是 路 由 的 款 认 最 大 连接 《该 值 默 认为 2) ， 限 制 数量 实际 使 用 


DefaultMaxPerRoute 
//Tf] 3EMax Total 


/设置 过 小 ， 无 法 文 持 大 并 有 (ConnectionPoolTimeoutException: Timeout 
waiting 


//for connection from pool)， 路 由 是 对 maxTotal 的 细 分 


conMgr.setDefaultMaxPerRoute(conMgr.getMaxTotal()); 


// (目前 只 有 一 个 路 由 ， 因 此 让 它 等 于 最 大 值 ) 
// 设 置 访问 协议 


conMgr.getSchemeRegistry().register(new Scheme(" http", 80, 
PlainSocketFactory. getSocketFactory ())); 


conMer.getSchemeRegistry().register(new Scheme( "https", 443, 
SSLSocketFactory. getSocketFactory ())); 


httpClient = new DefaultHttpClient(conMgr, params) ; 
httpClient.setHttpRequestRetryHandler (new 
DefaultHttpRequestRetryHandler(0, false)); 


为 我 们 使 用 http connection 连 接 池 ， 所 以 需要 配置 
CONN_MANAGER_TIMEOUT， 表 示 从 连接 池 获 取 http connection 的 超 
时 时 间 。 


JE Ab SX XE httpClient.setHttpRequestRetryHandler(new 
DefaultHttpRequestRetry Handler(0, false) Ei f ick ANE CRUE 
WSR) . SAT RIA SR IN, eyHretryRequesck FI] lt xe d ETT 
重 试 ， 而 以 下 情况 不 会 进行 重 试 : TABI EAA. IRA AEA AIAL XETE 
航 拒绝 、 连 接 终止 、 请 求 已 发 送 。 而 蜂 等 HITP 方 法 的 请 求 、 
requestSentRetryEnabled=true 且 请 求 还 未 成 功 发 送 时 可 以 重 试 。 


如 采 啊 应 503 钳 误 状 态 码 ， 如 上 重 试 机 制 是 不 可 用 的 ， 则 可 以 考 感 使 用 
AutoRetryHttpClient 客 户 端 ， 其 可 以 配置 
ServiceUnavailableRetryStrategy， 默 认 实 现 为 
DefaultServiceUnavailableRetryStrategy， 可 以 配置 重 试 次 数 maxRetries 和 
重 试 间隔 retryInterval。 每 次 重 试 之 前 都 会 等 竺 retryInterval 坚 秒 时 间 。 


假设 服务 由 多 个 机 房 提 供 ， 其 中 在 一 个 机 房 服 务 出现 问 题 时 ， 应 该 目 动 
切换 到 为 一 个 机 房 ， 可 以 考虑 使 用 如 下 方法 。 


public staticString g&(List«String» apis, Obect[] args, String emming, 
Header[] headers, Integer timeout) throws Exception { 
String response - null; 
For(String apl : apis) | 
String uri = UriComponentsBuilder. fromHttpUrl (api) 
.buildAndExpand(args). toUriString(); 
response - HttpClientUtils 
.getDataFromUri(uri, encoding, headers, timeout); 
// 如 果 失 败 了 ， 重 试 一 次 
if(Objects.equal(response, HTTP ERROR)) { 
continue; 
} 
/ /如 果 域 名 解析 失败 ， 重 试 
if(Objects.equal(response, HTTP UNKNOWN HOST ERROR)) (| 
response = HTTP ERROR; //iWA 7TH T AT EAA Al el 
continue; 
| 
if(Objects.equal(response, HTTP SOCKET TIMEOUT ERROR)) { 
response = HTTP ERROR; // 调 用 方 根据 这 个 判断 是 含有 问题 
continue; 


return response; 


} 


return response; 


参数 传 入 不 同 机 房 的 API 即 可 ， 当 其 中 一 个 不 可 用 时 目 动 重 试 另 一 个 机 
房 的 API。 


6.5 BUH Fe Ae PF vin te BY 


TE f Fo ee Pim, RISE H Ae eRe, Ba ee eRe IU. 
进行 如 下 超时 设置 。 


<bean id="dataSource" 
class-"org.apache.commons.dbcp2.BasicDataSource" 
destroy-method="close"> 
<!-- Statement 默认 超时 时 间 --> 
<property name-"defaultQueryTimeout" value="3"/> 


«1-- ASAT iita FARKE socket I/A: --> 
<property name-"connectionProperties" 
value="connectTimeout=2000; socketTimeout=2000 "/> 
<!-- IX" FIFRE UEI, UTPEKA, KATE 500ms --> 
<property name="maxWaitMillis" value="500" /> 
</bean> 


网 络 连接 / 读 超 时 : 使 用 connectionProperties 配 置 MySQL 超 时 时 间 ， 如 
Ae Oracle Vl AY WI an FAC o 


<property name="connectionProperties" 
value="oracle.net.CONNECT TIMEOUT=2000; oracle. jdbc.ReadTimeout=2000"/> 


默认 Statement 超 时 时 间 ， 通 过 defaultQueryTimeout 配 置 ， 单 位 是 s。 
从 连接 池 获 取 连 接 的 等 每 时 间 ， 通 过 maxWaitMillis 配 置 。 
Statement 超 时 ， 如 果 使 用 iBATIS， 则 可 以 通过 如 下 方式 配置 Statement 超 时 。 


<settings cacheModelsEnabled="false" enhancementEnabled="true" 
lazyLoadingEnabled="false" errorTracingEnabled="true" 
maxRequests-"32" defaultStatementTimeout="2"/> 


defaultStatementTimeout 的 单位 是 s， 根 据 业 务 配置 。 如 果 配 置 了 数据 库 
连接 池 ， 则 此 处 不 用 配置 。 


如 果 只 想 设 置 某 个 Statement 的 超时 时 间 ， 则 可 以 考虑 <insert 。...... 


timeout="2">. 


如 上 配置 其 实 最 终 会 调用 Statement.setQueryTimeout 方 法 设置 Statement 
超时 时 间 。 


事务 超时 是 总 的 Statement 超 时 设置 ， 比 如 我 们 使 用 Spring 管理 事务 ， 
可 以 使 用 如 下 方式 配置 全 局 默认 的 事务 级 别 的 超时 时 间 。 


<bean id="txManager" class-"org.springframework.jdbc.datasource 
.DataSourceTransactionManager"» 
<property name-"dataSource" ref-"dataSource" /> 
<property name-"defaultTimeout" value="3"/> 
</bean> 


这 里 我 们 分 析 为 什么 说 事务 超时 是 Statement 超 时 的 总 和 ， 此 处 我 们 分 析 
Spring 的 DataSourceTransactionManager， 首 先 开 司 事务 时 会 调用 其 
doBegin 方 法 。 


// 先 获取 Transactional 定义 的 timeout， 如 果 没 有 ， 则 使 用 aefaultTimeout 


int timeout = determineTimeout (definition); 
if (timeout != TransactionDefinition.TIMEOUT DEFAULT) { 
txObject.getConnectionHolder () .setTimeoutInSeconds (timeout); 


其 中 determineTimeout 用 来 获取 我 们 设置 的 事务 超时 时 间 ， 然 后 设置 到 
ConnectionHolder 对 象 上 (其 是 ResourceHolder 子 类 ) ， 接 着 下 面 看 
ResourceHolderSupport 的 setTimeoutInSeconds 实 现 。 


public void setTimeoutInSeconds(int seconds) { 
setTimeoutInMillis(seconds * 1000); 


public void setTimeoutInMillis(long millis) { 
this.deadline = new Date(System.currentTimeMillis() + millis); 


大 家 可 以 看 到 ， 此 处 会 设置 一 个 deadline 时 间 ， 用 来 判断 事务 超时 时 
间 ， 那 什么 时 候 调 用 呢 ? BUB: 


public int getTimeToLiveInSeconds() ( 
double diff = ((double) getTimeToLiveInMillis()) / 1000; 
int secs = (int) Math.ceil (diff); 
checkTransactionTimeout(secs <= 0); 
return secs; 


public longgetTimeToLiveInMillis() throws TrasactionTimedOutException( 
if (this.deadline == null) { 
throw new IllegalStateException("No timeout specified for t his 
resource holder"); 


| 


long timeToLive = this.deadline.getTime() - System.currentTimeMillis(); 
checkTransactionTimeout (timeToLive <= 0); 
return timeToLive; 


private void checkTransactionTimeout (boolean deadlineReached) 
throws TransactionTimedOutException { 
if (deadlineReached) { 
setRollbackOnly(); 
throw new TransactionTimedOutException("Transaction timed out: 
deadline was " + this.deadline); 


| 


我 们 发 现 调用 getTimeToLiveInSeconds 和 getTimeToLiveInMillis 会 检查 是 
含 超时， 如 采 超 时 了 ， 则 标记 事务 须 回 和 小 ， 并 抛 出 


TransactionTimedOutException 异 常 进行 回 滚 。 


DataSourceUtils.applyTransactionTimeout 会 调用 
DataSourceUtils.applyTimeout, Data SourceUtils.applyTimeout 的 代码 如 


Be 


public static void applyTimeout(Statement stmt, DataSource dataSource, 
int timeout) throws SQLException { 

ConnectionHolder holder = 

(ConnectionHolder) TransactionSynchronizationManager 

.getResource (dataSource) ; 

if (holder !- null && holder.hasTimeout()) | 

// 计算 剩余 的 事务 超时 时 间 并 禾 亩 Statement 超时 

stmt.setQueryTimeout (holder.getTimeToLiveInSeconds()); 
} else if (timeout > 0) { 

// 如 宁 没 有 配置 事务 超时 ， 则 使 用 Statement 超时 


stmt.setQueryTimeout (timeout); 


在 执行 stmt.setQueryTimeout(holder.getTimeToLivelInSeconds()) HY Z iil A 
getTimeTo LiveIn Seconds(), iX fy AZ ÆN. fEJdbcTemplate 
中 ， 执 行 SQL 之 前 ， 会 调用 其 applyStatementSettings 方 法 ， 其 将 调用 

DataSourceUtils.applyTimeout(stmt,getDataSource(), getQueryTimeout()) 1% 


首 超 时 时 间 。 


此 处 有 一 个 问题 ， 如 果 设 置 了 事务 超时 ，Statement 超 时 的 束 不 起 作用 
了 ， 上 整体 会 使 用 事务 超时 和 窗 新 Statement 超 时 。 


6.6 NoSQL 和 客户 痕 超 时 


对 于 MongoDB， 我 们 使 用 的 是 spring-data-mongodb 客 户 端 ， 可 以 通过 如 
下 配置 设置 相关 的 超时 时 间 。 


«mongo:mongo id="tryMongo" replica-set="${try.mongo.hostAndPorts}"> 
<mongo:options 
connections-per-host-"$(mongo.connectionsPerHost]" 
threads-allowed-to-block-for-connection-multiplier- 
"S{mongo.threadsAllowedToBlockForConnectionMultiplier}" 

max-wait-time="${mongo.maxWaitTime}" 
connect-timeout="5{mongo.connectTimeout }" 
socket-timeout="5{mongo.socketTimeout}" 
socket-keep-alive="$ {mongo.socketKeepAlive}" 
auto-connect-retry="${mongo.autoConnectRetry}" /> 

</mongo:mongo> 


RITH E go Bilt AA AN x EL MongoDB 7s)" Jii eB EN Th S BURS Ue] JW; f 
的 情况 。 


对 于 Redis， 我 们 使 用 的 是 Jedis 客 户 端 ， 可 以 通过 如 下 配置 分 配 等 待 获 
取 连 接 池 连接 的 超时 时 间 和 网 络 连接 / 谈 超 时 时 间 。 


PoolJedisConnectionFactory cmnectionFactory -new PoolJedisConnectionFactory(); 
connectionFactory.setMaxWaitMillis (maxWaitMillis) ; 
connectionFactory.setTimeout (timeoutInMillis) ; 


Jedis 在 建立 Socket 时 通过 如 下 代码 设置 超时 。 


this.socket.connect ( 
new InetSocketAddress(this.host, this.port), this. timeout); 
this.socket.setSoTimeout (this.timeout) ; 


可 以 在 JVM 启 动 时 通过 添加 - 
Dsun.net.client.defaultConnectTimeout-60000- 
Dsun.net.client.defaultReadTimeout=60000 来 配置 默认 的 全 局 Socket 连 接 / 
谈 超 时 。 即 如 Httpclient、JDBC 等 ， 如 果 没 有 配置 Socket 超 时 ， 则 会 默认 
使 用 该 超时 。 


6.7 ”业务 超时 
业务 超时 分 为 如 下 两 类 。 


任务 型 : 比如 ， 订 单 超 时 未 文 付 取消 超时 活动 目 动 关闭 等 ， 这 属于 任 
务 型 超时 ， 可 以 通过 Worker 定 期 扫 手 数据 库 修 改 状态 。 有 时 和 需要 调用 的 
FER AY Cha, APE a, me BHP RBS) ， 
可 以 考虑 使 用 队列 或 者 暂时 记录 到 本 地 稍 后 重 试 。 


服务 调用 型 : 比如 ， 某 个 服务 的 全 局 超时 时 间 为 500ms， 但 我 们 有 多 
处 服务 调用 ， 每 处 服务 调用 的 超时 时 间 可 能 不 一 样 ， 此 时 ， 可 以 简单 地 
使 用 Future 来 解决 问题 ， 通 过 如 Future.get(3000， 
TimeUnit.MILLISECONDS) 来 设置 超时 。 


6.8 = Hil Yin Ajaxiee AY 


我 们 使 用 jQuery 来 进行 Ajax 请 求 ， 可 以 在 请 求 时 市 上 timeout 参 数 设 置 超 
时 时 间 。 


$.ajax(1 

url:"http://ins.jd.com:9090/test", 

dataType:"jsonp", 

]lsohpri"test", 

]JsonpGOCalllbackz "test", 

timeout:2000, 

success: function(result,status,xhr) { 
//success 


by 
error: function(result,status,xhr) { 
1f(status == 'timeout') { 


//timeout 


TE 


当 进 行 跨 域 JSONP 请 求 并 使 用 jQuery 1.4.x/ Æt, IE9. Chrome 52. 
Firefox ”49 测试 JSONP, tak CEERI a ARERR EUH. BITE mI] 
了 ， 该 脚本 也 将 一 直 运 行 ， 而 使 用 jQuery 1.5.2 时 ， 超 时 是 起 作用 的 ， 但 
是 发 出 去 的 请 求 是 不 会 被 取消 的 〈 请 求 还 处 于 执行 状态 ) 。 


还 有 一 种 办 法 可 进行 超时 重 试 ， 即 通过 setTimeout 进 行 超时 重 试 。 比 


OH, RASH LR hora ee, KEPARA ANA REE S, AGES 
时 后 通过 另 一 个 域名 〈B 机 房 ) 重新 获取 数据 ， 代 人 码 如 下 所 示 。 


var id = setTimeout(retryCallback, 5000); 
$.ajax(í 
dataType: 'jsonp', 
success: function() { 
clearTimeout (id); 


) 
ie 


除了 客户 端 设置 超时 外 ， 服 务 器 端 也 一 定 要 配置 合理 的 超时 时 间 。 
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比 服 务 絮 闹 更 长 的 超时 时 间 。 如 果 存 在 多 级 依赖 天 系 ， 如 A 调用 B，B 调 
用 C， 则 超时 设置 应 该 是 A>B>C， 和 否则 可 能 会 一 直 重 试 ， 引 起 DDoS 攻 
击 效 床 。 不 过 最 终 如 何 选 择 还 是 要 看 场景 ， 有 时 候 澡 户 病 议 置 的 超时 时 
间 束 是 要 比 服务 器 端的 短 ， 可 以 通过 在 服务 器 端 实施 限 流 / 降 级 等 手段 
防止 DDoS 攻击 。 


超时 之 后 应 该 有 相应 的 毁 上 略 来 处 理 ， 第 见 的 策略 有 乍 试 (等 一 会 儿 再 
试 、 笑 试 其 他 分 组 服务 、 委 试 其 他 机 房 服务 ， 午 试 算法 可 考虑 使 用 如 指 
数 退 避 算 法 ) 、 摘 挥 不 存活 广 扣 负载 均衡 /分 布 式 缓存 场景 下 ) 、 托 
撒 《〈“ 返 回 历史 数据 / 评 态 数据 /缓存 数据 ) 、 等 竺 页 或 者 错误 页 。 


对 于 非 虹 等 写 服务 应 避免 午 试 ， 或 者 可 以 考虑 所 前 生成 唯一 流水 写 来 你 
证 写 服 务 操 作 通 过 判断 流水 与 来 实现 项 等 操作 。 


在 进行 数据 库 / 绥 存 服务 此 操 作 时 ， 记 得 经 党 检查 慢 碍 询 ， 慢 查询 通 般 
^E 5 iE ROS EA IRL] AERE EF. (EDS RE TERI IY, ERR ZAR 
降级 ， 行 该 服务 修复 后 再 取消 降级 。 


对 于 有 负载 习 衡 的 中 同 作 ， 请 竹 谍 配 中 心跳 / 存 酒 签 在 ， 而 个 古人 作答 
E o 


N 


超时 重 试 必然 导致 请 求 啊 应 时 间 增 加 ， 最 坏 情 况 下 的 啊 应 时 间 = 重 试 次 
数 x 早 次 超时 时 间 ， 这 很 可 能 严重 影 啊 用 户 体 验 ， 导 人 致 用 户 不 断 刷 新 页 
面 来 重复 请 求 ， 最 后 导 任 服务 接收 的 请 求 太 多 而 挂 挥 ， 因 此 除了 控制 单 
次 超时 时 间 ， 也 要 控制 好 用 户 能 八 党 的 最 长 超时 时 间 。 

超时 时 间 太 短 会 导致 服务 调用 成 功率 降低 ， 超 时 时 间 太 长 又 会 导致 本 应 
成 功 的 调用 却 失 败 了 ， 这 也 要 根据 实际 场景 来 选择 最 适合 当前 业务 的 超 
时 时 间 ， 甚 至 是 程序 动态 自动 计算 超时 时 间 。 比 如 了 商品 详情 页 的 库存 状 
态 服务 ， 可 以 设置 较 短 的 超时 时 间 ， 当 超时 时 降级 返回 有 货 ， 而 结算 页 
服务 就 需要 设置 稍微 长 一 些 的 超时 时 间 保 证 确实 有 货 。 

在 实际 开发 中 ， 不 要 轻视 超时 时 间 ， 很 多 重大 事故 都 是 因为 超时 时 间 不 
ae ene ee HP 
尔 的 代码 吧 。 
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timeoutand-doesnt-fire-the-error-event 


7 回 深 机 制 


器 深 是 指 当 程序 或 数据 出 错时 ， 将 程序 或 数据 恢复 到 最 近 的 一 个 正确 版 
本 的 行为 。 最 钊 见 的 如 事务 回 滚 、 人 代码 库 回 滚 、 部 普 厂 本 回 滚 、 数 据 版 
Lo His EUR BUS [BE SE. IIA Lr n] PRUE RE RET AP 
Ji AY H. 


71 事务 回 滚 


在 执行 数据 库 SQL 时 ， 如 来 我 们 检测 到 事务 提交 冲突 ， 那 么 事务 中 所 有 
已 执行 的 SQL 要 进行 回 深 ， 目 的 是 防止 数据 库 出 现 数据 不 一 至。 对 于 单 
库 事 务 回 深 直 接 使 用 相关 SQL 即 可 。 如 果 涉 及 分 布 式 数 据 库 ， 则 要 考虑 
使 用 分 布 式 事务 ， 最 第 见 的 如 两 阶段 拓 交 、 三 阶段 提交 协议 ， 这 种 方式 
实现 事务 回 滚 难度 较 低 ， 但 是 对 性 能 影响 比较 大 ， 因 为 我 们 在 大 多 数 场 
景 中 需要 的 是 最 终 一 致 性 ， 而 不 是 强 一 致 性 。 因 此 ， 可 以 考 碟 如 事务 
R WANI MALE (执行 / 回 深 ) 、TCC 模 式 《〈 预 占 /确认 / 取 

iH) 、Sagas 模 陈 《〈 拆 分 事务 + 补偿 机 制 ) 等 实现 最 终 一 致 性 。 比 如 ， 电 
商 中 的 早 场 景 ， 会 进行 扣 减 优惠 券 、 预 占 库 存 等 操作 ， 这 涉及 非常 多 的 
子 系统 ， 因 此 ， 很 难 使 用 分 布 式 事务 你 证 强 一 任性 ， 我 们 只 要 能 你 证 最 
终 一 致 性 即 可 ， 下 面 来 看 看 结算 下 单 序列 图 。 





onan 回 滚 库存 





一 种 情况 是 当 订 单 出 错 后 ， 要 把 之 前 扣 减 的 优惠 苏 和 库存 回 敌 。 但 是 ， 
SAP VY Rd. JVM PE I. EA LZ BETIS OC ES 23 RUE TT 3 
没有 回 深 ， 这 种 情况 可 以 考虑 在 本 地 记录 事务 日 志 ， 当 JVM 实 例 重 局 
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消 订 单 的 记录 。 还 有 一 种 情况 是 下 单 后 一 下 没有 文 付 ， 比 如 6 小 时 ， 没 
有 文 付 的 订单 要 取消 ， 此 时 束 要 定期 扫 摘 订单 表 ， 然 后 取消 订单 并 回访 
优惠 券 和 库存 。 不 管用 什么 方式 ， 只 要 傈 证 最终 一 致 性 即 可 。 


7.2 (XU Bg [n] 7 
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式 版 本 控制 系统 。 有 有 了 版 本 控制 系统 后 束 可 以 记录 代 公 的 历史 版 本 ， 在 
出 问题 后 可 以 方便 回 滚 。 当 茶 个 代码 文件 部 音 出 现 问 题 时 ， 可 以 通过 历 
史 厂 本 奉 看 是 谁 修改 的 、 修 改 了 什么 ， 从 而 快速 定位 出 BUG。 夯 外 ， 在 
实际 开 友 过 程 中 ， 可 能 存在 多 个 版 本 并 行 开 友 ， 此 时 版 本 控制 系统 的 分 
文 功能 束 友 挥 大 作用 了， 大 家 在 各 目 分 文 上 开 友 测试 ， 相 互 不 影响 ， 开 
及 完成 后 合并 分 文 到 主干 即 可 。 


7.3 ”部 普 版 本 回 深 


代码 测试 完成 后 ， 接 下 来 束 要 进行 系统 的 部 闭 ， 在 部 普 系 统 时 ， 要 考虑 
当代 人 码 馆 辑 出 现 错误 后 如 何 快 速 恢 复 ， 总 结 为 部 普 版 本 化 、 小 版 本 增 量 
肥 布 、 大 版 本 灰 度 友 布 、 染 构 升 级 并 友 友 布 。 


1. 部 车 版 本 化 


每 次 部 署 时 ， 应 该 将 上 一 版 本 的 包 记录 到 部 署 系统 中 ， 在 发 布 时 应 该 采 
用 全 量 发 布 ， 避 免 增 量 发 布 〈 只 发 布 修改 过 的 类 或 文件 ) 。 如 有 需要 ， 
全 量 版 本 可 直接 回 深 ， 不 会 受到 约束 或 限制 。 


2. 小 版 本 增 量 友 布 


比如 修复 BUG， 添 加 一 些 徐 单 的 业务 锡 辑 ， 这 些 我 们 叫 作 小 版 本 。 增 量 
及 布 的 意思 是 比如 我 们 有 100 台 服务 豆 ， 先 及 布 1 台 验 证 ， 如 朱 没 问题 ， 
Weg RAT LOR, BEAT o- 


3. 大 版 本 灰 度 友 布 


在 页 面 改 厂 、 还 加 新 的 功能 时 需要 进行 灰 度 发 布 ， 一 般 情 况 下 是 两 个 版 
本 并 行 跑 一 段 时 间 ， 一 些 用 户 访 问 老 版 本 ， 一 些 用 户 访 问 新 版 本 ， 功 能 
验证 成 功 后 或 者 新 版 本 效果 不 错时 ， 再 全 量 发 布 。 比 如 ， 我 们 可 以 通过 
类 似 如 下 带 有 版 本 号 的 URL 来 区 分 新 版 本 和 老 版 本 。 


https://cd.jd.com/yanbao/v3? 
skuld=854073&cat=652,654,832&brandId=8983& 
area=1_2810_51081_O&callback=yanbao_jsonp_callback 
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集群 会 同时 存在 一 段 时 间 。 然 后 ， 等 所 有 流量 迁移 到 新 版 本 集群 后 ， 老 
We AS Sed wt AY AR BG T o 


一 般 前 病 应 用 我 们 会 采用 Nginx 作 为 接 入 层 ， 通 过 A/B 方 式 慢 慢 地 将 流量 
引入 到 新 版 本 集群 ， 比 如 1% -10% -50% -100%。 如 果 新 版 本 集群 处 
理 出 现 问题 ， 那 么 要 目 动 降级 到 老 版 本 集群 继续 服务 。 硅 新 版 本 出 现 大 
面积 故障 ， 则 要 将 所 有 流量 引入 到 老 版 本 集群 。 因 此 ， 接 入 层 要 能 灵活 
控制 流量 方向 。 示 意图 如 下 图 所 示 。 








新 版 本 出 错 后 目 
动 降级 为 老 版 本 





A/B 测 试 


老 版 本 集群 新 版 本 集群 


失败 降级 我 们 可 以 借助 Nginx 的 error_ page. 


proxy Intercept errore on; 
recursive error pages on; 


location ~* "“/(\d+)\.htmlsS" { 

proxy pass http://new version/$1.html; 

error page 500 502 503 504 -200 /fallback version/$1.html; 
} 


失败 降级 是 很 重要 的 特性 ， 关 键 时 候 不 全 于 让 用 户 不 能 访问 或 者 看 到 日 
屏 ， 如 果 有 CDN， 则 切换 版 本 时 一 定 要 记得 去 挥 CDN。 


74 ”数据 版 本 回 深 


有 些 特 定 行业 业务 数据 中 的 商品 /价格 数据 需要 进行 版 本 化 处 理 ， 一 方 
面 为 了 审计 和 需要， 为 一 方面 为 了 出 现 问 题 时 能 及 时 回 深 。 版 本 化 设计 可 
以 基于 下 图 的 架构 。 









2 . 历史 归档 





3. ERR 





设计 版 本 化 数据 结构 时 ， 有 两 种 思路 : 全 量 和 增 量 。 全 量 版 本 化 是 指 即 
使 只 变更 了 其 中 一 个 字段 也 将 整体 记录 进行 历史 版 本 化 ， 保 存 的 数据 量 
比较 多 ， 但 是 回 滚 方 便 。 而 增 量 厂 本 化 是 指 只 你 存 变 化 的 字段 ， 保 存 的 
数据 量 较 少 ， 但 是 回 滚 起 来 很 有 烦 ， 需 要 回调 。 因 此 ， 为 了 人 简单 化 处 理 
一 般 采 用 全 量 版 本 化 机 制 。 


为 外 ， 在 设计 消 恩 队列 时 ， 午 要 业务 会 对 消 恩 进行 副本 处 理 ， 以 便 万 一 
业务 远 辑 出 现 问 题 能 进行 历史 数据 回 深 ， 从 而 修复 问题 。 


7.5 BRAS AVR AAR 


在 前 端 开 发 中 ， 静 态 资 源 版 本 也 是 会 经 党 变更 的 ， 如 JS 人 /CSS， 而 每 次 内 
容 变 更 时 我 们 都 会 生成 一 个 全 量 新 版 本 放 到 项 目的 deploy 目 录 中 ， 从 而 
保证 版 本 可 追 湖 ， 出 现 问 题 时 能 及 时 回 深 。 上 日 录 结 构 如 下 图 所 示 。 


[3 deploy 
四 assets 
四 default 
四 main 
B 1.0.13 
310.14 
BJ 1.0.15 
Y 1.0.16 
[3 css 
[js 
E widget 


因为 静态 资源 一 般 放 在 CDN 上 ， 上 所 以 缓 仓 时 间 设 置 得 比较 长 ， 比 如 1 个 










月 。 这 样 看 及 布 的 版本 有 问题 ， 则 需要 清理 CDN 缓 仓 ， 也 需要 清理 浏览 
Eu mnn MVP 
STE IEA - 


:及 布 新 的 静态 资源 到 源 服 务 益 。 
` 清理 CDN 绥 存 ， 从 而 可 以 回 源 服 务 冲 获取 最 新 的 静态 资源 。 
在 新 的 URL 上 添加 随机 数 并 清理 浏览 右 缓 存 ， 代 人 码 如 下 。 


«script type="text/javascript" src="/js/index.js?time=201610231111"></ 
Script> . 


MAHL eRe APSE TS, BCH eA, PAS F 
方式 引用 。 


<script type="text/javascript" src="/1.0.16/js/index.js"></script> 
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可 ， 不 需要 清理 CDN、 不 需要 清理 浏览 器 缓存 。 


当然 ， 这 里 要 设置 合理 的 服务 右 端 页 面 缓存 时 间 ， 比 如 2 分 钟 ， 用 户 看 
到 钳 误 的 发 布 版 本 了 最 多 2 分 钟 时 间 。 为 了 方便 测试 ， 可 以 在 请 求 参 数 中 
PARAS, ülhttp://item.jd.com/2381431.html?version-1.0.15, 7; fi Us 
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问题 ， 然 后 进行 系统 调 优 来 提升 系统 的 健壮 性 和 处 理 能 力 。 一 般 通 过 系 
统 压 测 来 友 现 系统 瓶 贷 和 问题 ， 然 后 进行 系统 优化 和 容 灾 《如 系统 参数 
调 优 、 单 机 房 容 灾 、 多 机 房 容 灾 等 ) 。 即 使 已 经 把 系统 优化 和 容 灾 做 得 
非 第 好 了 ， 但 也 存在 一 些 不 稳定 因 系 ， 如 网 络 、 依 赖 服 务 的 SLA 不 稳定 
等 ， 这 束 需 要 我 们 制定 应 忽 预 杀 ， 在 出 现 这 些 因 系 后 进行 路 由 切换 或 降 
级 处 理 。 在 大 优 之 前 需要 进行 预 条 尖 习 ， 确 你 预案 的 有 效 性 。 


8.1 系统 压 测 


压 测 一 般 指 性 能 压 忆 测试 ， 用 来 评 全 系统 的 稳定 性 和 性 能 ， 通 过 压 测 数 
TLE RRA EVA, MMR ese Bi ETT AEG o 


压 测 之 前 要 有 压 测 方案 (如 压 测 接口 、 并 发 量 、 压 测 策 略 〈 突 发 、 逐 步 
WME FRÆ) 、 压 测 指 标 〈 机 需 负 载 、QPSATPS、 啊 应 时 间 ) ) ， 之 
后 要 产 出 压 测 报告 〈 压 测 方案 、 机 同 负 载 、QPSATPS、 啊 应 时 间 “〈 平 
均 、 最 小 、 最 大 ) 、 成 功率 、 相 天 参数 〈JVM 人 参数、 压缩 参数 ) 5), 
最 后 根据 压 测报 告 分 析 的 结果 进行 系统 优化 和 容 灾 。 


8.1.1 Zé BEIM 


通过 如 JMeter、Apache abl] RAIN BELL CUA ee) 或 者 
示 个 组 件 〈 如 数据 库 连 接 池 ) ， 然 后 进行 调 优 〈 如 调整 JVM 人 参数 、 优 化 
AG) ， 实 现 单个 接口 或 组 件 的 性 能 最 优 。 


线 下 压 测 的 环境 (比如 ， 服 务 器 、 网 络 、 数 据 量 等 ) 和 线 上 的 完全 不 一 
洋 ， 仿真 度 不 高 ， 很 难 进 行 全 链 路 压 测 ， 适 合 组 件 级 的 压 测 ， 数 据 只 能 


8.1.2 Zé EH NUI 


线 上 压 测 的 方式 非常 多 ， 按 读 写 分 为 读 压 测 、 写 压 测 和 混合 压 测 ， 按 数 
据 仿真 度 分 为 仿真 压 测 和 引流 压 测 ， 按 是 否 给 用 户 提供 服务 分 为 隔离 集 
群 压 测 和 线 上 集群 压 测 。 


读 压 测 是 压 测 系统 的 讯 流量 ， 比 如 ， 压 测 商 品 价 格 服务 。 写 压 测 是 压 测 
系统 的 写 流量 ， 比 如 下 单 。 写 压 测 时 ， 要 注意 把 压 测 写 的 数据 和 真实 数 
所 分 离 ， 在 压 测 完成 后 ， 删 除 压 测 数据 。 只 进行 伟 或 瑟 压 灿 有 时 十 不 能 
友 现 系统 邢 贷 的 ， 因 为 有 时 读 和 写 是 会 相互 影响 的 ， 因 此 ， 这 种 情况 下 
要 进行 混合 压 测 。 


仿真 压 测 是 通过 和 醒 拟 请 求 进行 系统 压 测 ， 借 拟 请 求 的 数据 可 以 是 使 用 程 
序 构造 、 人 工 构造 《如 捉 前 准备 一 些 用 户 和 商品 ) ， 或 者 使 用 Nginx 访 
问 日 过， 如 果 压 训 的 数据 量 有 限 ， 则 会 形成 请 求 热点 。 而 更 好 的 方式 可 
以 考虑 引流 压 测 ， 比 如 使 用 TCPCopy 复 制 线 上 真实 流量 ， 然 后 引 汽 到 压 


汕 集 群 进行 压 出 ， 还 可 以 将 沉 量 放大 六 fit, RMSE RA Hs TANG o 


隔离 集群 压 训 是 指 将 对 外 提供 服务 的 部 分 服务 大 从 线 上 集群 摘除 ， 然 后 
将 线 上 流量 引 这 到 该 集群 进行 压 测 ， 这 种 方式 很 安全 。 有 时 也 可 以 直接 
对 线 上 集群 进行 压 出 ， 如 通过 缩减 线 上 服务 右 数 量 实 现 ， 通 过 增 关 单 台 
服务 硕 的 负载 进行 压 测 ， 这 种 方式 风险 很 大 ， 通 过 逐步 减少 服务 郁 进 
47, JP EER AR BUM PP JS ETT . 


单机 压 测 是 指 对 集群 中 的 一 合 机 硕 进 行 压 测 ， 从 而 评估 出 单机 极限 处 理 
能 力 ， 及 现 单机 的 大 令 点， 这 样 可 以 把 单机 性 能 优化 到 极致 。 但 实际 集 
群 的 瓶 祷 往 往 是 其 依赖 的 系统 或 服务 ， 如 数据 库 、 绥 存 或 者 调用 的 服 
务 ， 因 此 单机 压 测 的 结 来 不 能 反映 集群 整体 处 理 能 力 ， 也 需要 进行 集群 
压 测 ， 从 而 评估 出 集群 的 极限 处 理 能 力 ， 从 而 有 人 针对 性 地 对 集群 依赖 的 
系统 或 服务 进行 优化 。 


在 压 测 时 ， 也 应 该 选择 离散 压 测 ， 即 选择 的 数据 应 该 是 分 散 的 或 者 长 尾 
的 ， 比 如 ， 刚 刚 新 增 的 商品 一 般 在 缓存 中 ， 而 去 年 已 经 下 架 的 商品 己 经 
从 绥 存 中 移 除 ， 刚 刚 新 增 的 商品 往往 是 热点 数据 ， 而 去 年 已 下 架 的 商品 
hf 
理 能 


妨 外 ， 在 实际 压 测 时 应 该 进行 全 链 路 压 刷 ， 因 为 可 能 存在 一 个 非 核 心 系 
统 服务 调用 问题 造成 整个 交易 链 路 出 现 问 题 ， 或 者 链 路 中 的 各 个 系统 存 
在 苋 争 资源 的 情况 ， 因 此 为 了 保证 压 测 的 真实 性 ， 应 该 进行 全 链 路 压 
M, ELEBE EMREN H i. 


82 ”系统 优化 和 容 灾 


拿 到 压 测 报 各 后 ， 接 下 来 会 分 析 报 告 ， 然 后 进行 一 些 有 和 针对 性 的 优化 ， 
如 便 件 升 级 、 系 统 扩 容 、 参 数 调 优 、 代 码 优 化 (如 代码 同步 改 异步 )、 
染 构 优化 (如 加 缓存 、 读 写 分 离 、 历 史 数 据 归档 〉 和 等 。 不 要 把 别人 的 经 
验 或 案例 拿 来 百 接 套 和 在 目 己 的 场景 下 ， 一 定 要 压 测 ， 相 信 压 负数 扼 而 不 
EAA RB 


在 进行 系统 优化 时 ， 要 进行 代码 走 租 ， 及 现 不 合理 的 参数 配置 ， 如 超时 
时 间 、 降 级 寄 略 、 绥 人 存 时 间 等 。 在 系统 压 测 中 进行 怪 得 询 排 租 ， 包 丘 
Redis、MySQL 等 ， 通 过 优化 得 艾 解 决 慢 碍 询问 题 。 系 统 优化 和 高 并 妈 


0 
不 障 》。 





在 应 用 系统 扩容 方面 ， 可 以 根据 去 年 流量 、 与 运营 业务 方 沟通 促销 力 

上 度 、 最 近 一 段 时 间 的 流量 来 评估 出 是 售 需 要 进行 扩容 ， 需 要 扩容 多 少 

音 ， 比 如 ， 预 计 GMV 增 长 100%， 那 么 可 以 考虑 扩容 2~3 倍 容量 。 还 要 

根据 系统 特点 进行 评估 ， 如 商品 详情 页 可 能 要 文 持 平 彰 的 十 几 倍 流量 ， 
如 秒杀 系统 可 能 要 文 持平 党 的 几 十 们 流量 。 扩 容 之 后 还 要 预 留 一 些 机 桥 
应 对 突 友 情况 ， 在 扩容 上 尺 量 文 持 快 速 扩 容 ， 从 而 出 现 突 友 情况 时 可 以 
几 分 钟 内 完成 扩容 。 


不 要 把 所 有 鸡蛋 放 进 一 个 锋 子 ， 在 扩容 时 要 考虑 系统 容 灾 ， 比 如 分 组 部 
普 、 路 机 房 部 普 。 容 灾 是 通过 部 普 多 组 “单机 房 /多 机 房 ) 相同 应 用 系 
统 ， 当 其 中 一 组 出 现 问题 时 ， 可 以 切换 到 万 一 个 分 组 ， 保 证 系统 可 用 。 


8.3 MAME 


FEAR Ej Hs | 2 GRIER RIB, FERRIC GET RAL 
量 并 降低 啊 应 时 间 ， 容 灾 之 后 的 系统 可 用 性 得 以 你 障 ， 但 还 是 会 存在 一 
些 风 险 ， 如 网 络 拌 动 、 菏 从 机 帮 人 负载 过 高 、 才 个 服务 变 慢 、 数 据 库 Load 
值 过 局 等 ， 为 了 防止 因为 这 些 问 题 而 出 现 系 统 雪 月， 需要 针对 这 些 情 况 
制定 应 急 预 轨 ， 从 而 在 出 现 突 肥 情况 时 ， 有 相应 的 指 施 来 解决 挥 这 些 问 
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LS FUSS FY FEAR UTR LAP EAT: 下 先进 行 系统 分 级 ， 然 后 进行 全 链 路 分 
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系统 分 级 可 以 按照 交易 核心 系统 和 交易 文 撑 系统 进行 划分 。 交 易 核心 系 


统 ， 如 购物 车 ， 如 条 挂 了 ， 将 影响 用 户 无 法 购物 ， 因 此 需要 投入 更 多 资 
源 傈 障 系统 质量 ， 将 系统 优化 到 极致 ， 降 低 事故 率 。 而 交易 文 撑 系 统 是 
外 围 系统 ， 如 丙 品 后 侣 ， 即 使 手 了 也 不 影 啊 前 合用 户 购物 ， 这 些 系 红 允 
证 暂时 不 可 用 。 实 际 系 统 分 级 要 根据 公司 特色 进行 ， 目 的 是 对 不 同 级 列 
的 系统 实施 不 同 的 质量 你 障 ， 核 心 系统 要 投入 更 多 资源 你 障 系统 融 可 
用 ， 外 围 系 统 要 投入 较 少 资源 允许 系统 暂时 不 可 用 。 


系统 分 级 后 ， 接 下 来 要 对 交易 核心 系统 进行 全 链 路 分 林 ， 从 用 户 入 口 到 
后 病人 存储 ， 梳 理 出 各 个 关键 路 径 ， 对 相关 路 径 进 行 评 佑 并 制定 预案 。 即 
当 出 现 问题 时 ， 访 路径 可 以 执行 什么 操作 来 保证 用 户 可 下 单 、 可 购物 ， 
开 且 也 要 防止 占 题 的 级 联 效应 和 雪 朋 效应 。 


如 下 图 所 示 ， 酉 理 系 统 全 链 路 关键 路 径 ， 包 括 网 络 接 入 层 、 应 用 接 入 
屋 、Web 应 用 层 、 服 务 层 、 数 据 层 等 ， 最 后 可 以 按照 如 下 表格 制定 应 息 


TREE. 


网 络 接 入 层 


ae 
智能 DNS 


VIP: 1.1.1.1 机 房 A| 机 房 B VIP: 2.1.1.1 


© Lusia | | | Bis 


VS 
D 
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sero [rapon] sero [rapon] 





















(a> IP: 192.168.1.x 


4 统一 服务 Nginx(OpenResty) 


>> IP: 192.168.1.x 
”统一 服务 Nginx(OpenResty) 
Web 应 用 层 | 


[个 CAS 


5.1 52 5.3 


> 1 一 一 < ——).3 





服务 层 


Sans cs Es 





数据 层 / 绥 存 


* 2 1. eaie .1. EE tit Me 





网 络 接 入 层 : 由 系统 工程 师 负 责 ， 主 要 关注 是 机 房 不 可 用 、DNS 故 
障 、VIP 故 障 等 预案 处 理 。 


执行 操作 相关 干系 人 


从 DNS 摘除 该 机 房 入 口 ， 或 者 
] JLS dc [t LE A 公 网 入 口 挂 DNS: 小 A 
机 房 故障 。 | 机 房 A 全 9 HA DNS SURABUS 


,| 如 某 VIP 出 现 网 络 抖 | 切换 到 备用 VIP 
2 VIP HR | _ | VIP: 小 B 
动 ， 暂 时 无 法 解决 


应 用 接 入 层 ， ”由 开发 工程 师 负责 ， 主 要 关注 点 是 上 游 应 用 路 由 切换 、 
限 流 、 降 级 、 隔 离 等 预案 处 理 。 





F 号 | 预案 名 称 问题 描述 执行 操作 相关 干系 人 
某 些 TP 访问 量 太 大 导致 上 
游 Web 应 用 负载 压力 过 高 


如 硬件 故障 、 负 载 高 、GC | 摘除 异常 节点 ,或 者 如 果菜 个 机 
上 游 应 用 异常 | ^C 
慢 、 响 应 慢 房 有 问题 , 切换 路 由 到 其 他 机 房 








3 IP [Rf 实施 IP 限 流 NC 






3 

超时 自动 降级 为 仅 查 缓存 或 库 
上 游 库存 服务 | 如 超时 、 后 端 服务 异常、 

8 i MERAM | 存 有 货 ,服务 异常 时 手工 全 部 降 | C 
级 为 库存 有 货 
候 虫 降级 为 返回 静态 化 资源 ,或 

代 虫 量 占 实际 访问 量 的 
3 ERKA DIRE | 者 息 虫 隔离 到 单独 上 游 集 群 提 | 小 C 


1/10 


供 服务 


流量 路 由 切换 到 机 房 ^c 


Web 应 用 层 和 服务 层 : ”由 开 及 工程 师 员 贡 ，Web 应 用 层 和 服务 层 应 用 
束 略 下 个 多 ， 主 要 关注 点 是 依赖 服务 的 路 由 切换 、 连 接 闻 (数据 库 、 线 
程 池 等 ) 寞 弟 、 限 流 、 超 时 降级 、 服 务 异 第 降级 、 应 用 人 负载 异 浊 、 数 据 
库 故 障 切 换 、 绥 存 故 障 切 换 等 。 


s s 预案 名 称 | mame | 执行 操作 | 相关 于 系 人 


东 商 品 服务 访问 超时 , 啊 应 | 切换 商品 服务 到 本 机 房 其 他 分 










4 “| 商品 服务 异常 小 D 
NÉE 组 ， 或 者 其 他 机 房 分 组 
线程 池 设置 得 太 小 , 导致 请 
4 | 线程 池 不 够 用 | “| 提供 开关 ,动态 调整 线程 池 大 小 | ”小 D 
求 有 积压 
, WRIA, BERESSERUIE APNR R f 。 ，、 





理 能 超出 国 什 后， 请 求 目 动 降级 处 理 


MH: 小 D 

新 品 服务 压力 | 由 于 异常, 导致 查询 商品 服 

4 客户 端 暂 停 查询 ， 或 限 流 | 商品 服务 ， 
务 的 调用 量 大大 ， 打 不 住 | ON 


目 动 切换 到 其 他 分 组 ， 或 者 切换 
4 | PARR 导致 服务 调用 大 面积 超时 . 小 D 
到 其 他 机 房 


服务 器 端 限 流 ,设置 服务 器 端 总 
5 “| 调用 量 太 大 “| 商品 服务 总 调用 量 太 大 | OMNU W | AD 
的 调用 量 闵 什 


数据 层 ， ”由 开发 工程 师 或 系统 工程 师 负责 ， 主 要 关注 点 是 数据 库 / 缓 存 
负载 高 、 数 据 库 /缓存 故障 等 ，。 


* s 执行 操作 相关 干系 人 
MySQL 硬件 故 联系 DBA 进行 MySQL 主 从 切换 , | 应 用 : 小 D 

5/6 主 库 硬件 出 现 问 题 
”| 切换 完成 后 验证 应 用 MySQL: 小 FF 


i 
X Redis hi, Xi M 2e 
- CN S BER TUR raisga | T 
3 Redis: 小 G 
某 机 房 断 电 或 者 发 
56 MERIA orn 切换 所 有 数据 库 /缓存 到 其 他 机 房 
SI 


Bll ELE TSR Ja, MMRR, KEMERE, ER EMR 
时 也 要 设 定 故障 的 恢复 时 间 。 有 一 些 故障 如 数据 库 挂 挥 是 不 可 降级 处 理 
的 ， 对 于 这 种 不 可 降级 的 关键 链 路 更 应 进行 序 分 演习 。 汗 习 一 般 在 零点 
之 后 ， 这 个 时 间 操 后 用 户 量 相对 来 说 较 少 ， 即 使 出 了 问题 影响 较 小 。 


最 后 ， 要 对 关联 路 径 实 施 监控 报警 ， 包 括 服务 器 监控 (CPU 使 用 率 、 碰 
盘 使 用 率 、 网 络 带宽 等 ) 、 系 统 监控 (系统 存活 、URL 状 态 /内 容 监 








48. Yim AFTRA) n JVM ENF GCR RTAS) 、 接 口 
监控 【接口 调用 量 〈 每 秒 /每 分 钟 ) 、 接 口 性 能 
(TOP50/TOP99/TOP999) 、 接 口 可 用 率 等 ) . Aa, ACERS RE, 
如 监控 时 间 段 〈 如 上 午 10:00 一 13:00、00:00 一 5:00， 不 同时 间 段 的 报警 
BEARES. FREEBIE COURS OP erg HUXeb-T 1007x035 SE) . iB 
知 方式 (短信 /邮件 〉。 在 报警 后 要 观察 系统 状态 、 监 控 数 据 或 者 日 志 
来 查看 系统 是 否 真 的 存在 故障 ， 如 果 确 实 是 故障 ， 则 应 及 时 执行 相关 的 
预案 处 理 ， 避 人 免 故 障 扩散 。 


起 要 了 解 更 多 大 促 备 成 思路 和 方法 ， 可 扫 二 维 码 参 考 休 世 淡 与 的 《 系 世 
大 促 备 战 思 路 和 方法 2.0 解 密 》。 
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9 MHRA 


9.1 ZEE RITE 


缓存 ， 笔 者 的 理解 是 让 数据 更 接近 于 使 用 者 ， 目 的 是 让 访问 速度 更 快 。 
工作 机 制 是 先 从 绥 存 中 读 取 数据 ， 如 果 没 有 ， 再 从 慢 速 设备 上 读 取 实际 
数据 并 同步 到 绥 存 。 那 些 经 常 读 取 的 数据 、 频 繁 访问 的 数据 、 热 点 数 

据 、L/O 瓶 有 颈 数据 、 计 算 昂 贵 的 数据 、 符 合 5 分 钟 法 则 和 局 部 性 原理 的 数 
所 都 可 以 进行 缓存 。 如 CPU > L1/L2/L3— 内存 磁盘 就 是 一 个 典型 的 例 
子 ，CPU 和 需要 数据 时 先 从 L1 读 取 ， 如 果 没 有 找到 ， 则 查找 L2/L3 读 取 ， 

如 果 没 有 ， 则 到 内 存 中 查找 ， 如 果 还 没有 ， 会 到 磁盘 中 查找 。 还 有 比如 
用 过 Maven 的 读者 都 应 该 知道 ， 加 载 依赖 的 时 候 ， 先 从 本 机 仓库 找 ， 再 
从 本 地 服务 器 仓库 找 ， 最 后 到 远程 仓库 服务 器 找 。 另 外 还 有 京东 的 物流 
为 什么 那么 快 ? 他 们 在 各 地 都 有 分 仓库 ， 如 果 该 仓库 有 货物 ， 那 么 送 货 
的 速度 是 非常 快 的 。 


本 文 以 Java 悄 用 绥 存 为 示例 进行 讲解 。 


9.2 ”缓存 命中 率 

缓存 命 中 率 是 从 缓存 中 该 取 数 据 的 次 数 与 总 谈 取 次 数 的 比率 ， 命 中 率 越 
MR. RTMP = MRP RRB CRRA MEFE 
取 次 数 + 从 慢 速 设备 上 读 取 次 数 ) ) 。 这 是 一 个 非常 重要 的 监控 指标 ， 
如 采 做 缓存 ， 则 应 通过 监控 这 个 指标 来 看 缓存 是 售 工 作 民 好 。 


9.3 ZTT IAC THA 


1. 基 于 空间 


基于 空间 指 绥 存 设 兽 了 存储 空间 ， 如 设置 为 10MB， 当 达到 存储 空间 上 
限时 ， 近 照 一 定 的 荣 略 移 除 数据 。 


2. 基 于 容量 


基于 容量 指 绥 存 设置 了 最 大 大 小 ， 当 绥 存 的 条 目 超 过 最 大 大 小 时 ， 按 照 


一 定 的 案 略 移 除 旧 数 据 。 

3. 基 于 时 间 

TTL (Time To Live? : 存活 期 ， 即 缓存 数据 从 创建 开始 直到 到 期 的 
o PERE (不 管 在 这 个 时 间 段 内 有 没有 被 访问 ， 绥 存 数 据 都 将 过 

RH) o 


TTI (Time To Idle) : 空闲 期 ， 即 缓存 数据 多 久 没 被 访问 后 移 除 缓存 
的 时 间 。 


4. 基 于 Java 对 象 引 用 
软 引 用 : WAR OPA RERI H, ALAS IVMHEA GA EIN, MK El 
Wear n] DATE OEE R. S| Hea eee, arf SSVMHEA 4S 


AER, AY PATEL Wea EE oy Be fg t — EBs [RI BE uri S| FROGE REH, Maret ot 
OOM. 


389] Hl]: HMK ARICA AY, SOAR ACS SA, UP a BY E 
Woo AEP AR STAY, 99 5E A EAE 8 5] 39] « 


Hx: “只 有 在 没有 其 他 强 引 用 对 象 引 用 弱 引 用 / 软 引 用 对 象 时 ， 垃 圾 回 
收 时 才 回 收 该 引用 。 即 如 果 有 一 个 对 象 〈 不 是 弱 引 用 / 软 引 用 对 象 ) 引 

e AN: 那么 垃圾 回收 时 不 会 回收 该 弱 引 用 / 软 引 用 对 
5. 回 收 算法 

i EROR PITT 第 见 的 
H Fo 

FIFO (First In First Out) : ”先进 先 出 算法 ， 即 先 放 入 绥 存 的 先 被 移 
除 。 


LRU (Least Recently Used) : ”最近 最 少 使 用 算法 ， 使 用 时 间距 离 现 在 
最 和 久 的 那个 被 移 除 。 


LFU (Least Frequently Used) : 最 不 音 用 算法 ， 一 定时 间 段 内 使 用 次 
BX (SEE) 最 少 的 那个 被 移 除 。 


实际 应 用 中 基于 LRU 的 缓存 居多 ， 如 Guava Cache、Ehcache 支 持 LRU。 


9.4 Java TKJ 


HERT: ”使 用 Java 堆 内 存 来 存储 缓存 对 象 。 使 用 堆 缓 存 的 好 处 是 没有 订 
列 化 / 芭 序 列 化 ， 十 了 最 快 的 缓存 。 缺 点 也 很 明显 ， 当 缓存 的 数据 量 很 大 
IY, GC CHR) 暂停 时 间 会 变 长 ， 存 储 容 量 有 党 限 于 扒 空 间 大 小 。 
一 般 通 过 软 引 用 / 弱 引 用 来 存储 缓存 对 象 ， 即 当 堆 内 存 不 足 时 ， 可 以 强 
制 回收 这 部 分 内 存 释 放 扒 内 存 空 间 。 一 般 使 用 堆 绥 存 存储 较 热 的 数据 。 
可 以 使 用 Guava Cache, Ehcache 3.x、MapDB 实 现 。 


堆 外 缓存 : 即 缓存 数据 存储 在 堆 外 内 存 ， 可 以 减少 GC 芹 俘 时 间 《〈 扒 对 
象 转移 到 堆 外 ，GC 扫 摘 和 移动 的 对 象 变 少 了 ) ， 可 以 文 持 更 大 的 缓存 
空间 (只 受 机 恬 内 存 大 小 限制 ， 不 受 堆 空间 的 影响) 。 但 是 ， 读 取 数 据 
时 需要 序列 化 / 反 序列 化 ， 因 此 会 比 堆 绥 存 慢 很 多 。 可 以 使 用 Ehcache 
3.Xx、MapDB 实 现 。 


DRT: 即 绥 存 数据 存储 在 磁盘 上 ， 在 JVM 重 月 时 数据 还 是 存在 
的 ， 而 扒 绥 存 / 堆 外 绥 存 数据 会 去 失 ， 需 要 重新 加 载 。 可 以 使 用 Ehcache 
3.Xx、MapDB 实 现 。 


分 布 式 缓存 : ”上 文 提 到 的 绥 存 是 进程 内 缓存 和 厂 盘 缓存 ， 在 多 JVM 实 
例 的 情况 下 ， 会 存在 两 个 问题 : 1. 单 机 容量 问题 2. 数据 一 致 性 问题 
(多 台 JVM 实 例 的 绥 存 数据 不 一 致 怎么 办 ? ) ， 不 过 ， 这 个 问题 不 用 太 
纠结 ， 既 然 数 据 允 许 缓存 ， 则 表示 人 允许 一 定时 间 内 的 不 一 致 ， 因 此 可 以 
设置 缓存 数据 的 过 期 时 间 来 定期 更 新 数据 ; 3. 绥 存 不 命中 时 ， 需 要 回 源 
到 DB/ 服 务 请 求 多 变 问 题 : 每 个 实例 在 绥 存 不 命中 的 情况 下 都 会 回 源 到 
DB 加 载 数 据 ， 因 此 ， 多 实例 后 DB 整体 的 访问 量 束 变 多 了 ， 解 决 办 法 是 
可 以 使 用 如 一 致 性 哈 硕 分 片 算 法 。 因 此 ， 这 些 情 况 可 以 考虑 使 用 分 布 式 
绥 存 来 解决 。 可 以 使 用 ehcache-clustered 〈 配 合 Terracotta server) 实现 
Java 进 程 则 分 布 式 绥 存 。 当 然 也 可 以 使 用 如 Redis 实 现 分 布 式 绥 存 。 


两 种 模式 如 下 。 


- 单机 时 : ”存储 最 热 的 数据 到 堆 缓 存 ， 相 对 热 的 数据 到 堆 外 缓存 ， 不 热 
的 数据 到 磁盘 绥 存 。 


. 集群 时 : ”存储 最 热 的 数据 到 堆 缓 存 ， 相 对 热 的 数据 到 堆 外 缓存 ， 全 量 
数据 到 分 布 式 绥 存 。 
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接 下 来 ， 我 们 看 看 如 何在 Java 中 使 用 堆 缓存 、 堆 外 缓存 、 磁 盘 缓 存 、 分 
布 式 缓存 ， 是 不 是 感觉 像 L1、L2、L3 级 缓存 架构 。 


Guava Cache KEHRT., DORI, ERR, UWR REHE 
T, MAE ERS DE. 


Ehcache 3.xfett HERT. EIRT BART DENKT. (AE, 
其 代码 注释 比较 少 ，API 还 不 完善 〈 比 如 ，2.x 文 持 LRU、LEU、FIEFO， 
而 3.x 目 前 还 没有 API 设 置 ) ， 功 能 还 不 完善 〈 比 如 ， 集 群情 况 下 ， 个 人 
测试 结果 是 车 时 不 可 以 在 生产 环境 使 用 ) ， 如 果 和 需要 较 稳定 的 API 和 功 
能 ， 则 请 考虑 使 用 Ehcache 2.X〈 不 支持 扒 外 缓存 ) 。 


MapDBse — 3X BON caval fa 5| SERIE HEAR. peH f Maps. Sets. 


Lists、Queues、Bitmaps 的 文 持 ， 还 文 持 ACID 事务 、 增 量 备 份 。 文 持 推 
ZEAE. EIRT WERE o 


9.4.1 JE 


1.Gauva Cache 实 现 


Cache<String, String» myCache = 
CacheBuilder.newBuilder() 
.concurrencyLevel (4) 
.expireAfterWrite(10, TimeUnit.SECONDS) 
.maximumSize (10000) 
buzld( § 


SRS AY Wii put. getlfPresentKix 52277. CacheBuilderfj /LAE XR: 
ZAP (IWR. FRERE. St ar 285% 


BAL BRE /基于 容量 


maximumSize: 设置 缓存 的 容量 ， 当 超出 maximumSize 时 ， 按 照 LRU 进 
行 绥 存 回收 。 


AE Ie ACE /基于 时 间 


expireAfterWrite: ”设置 TTL， 绥 存 数 据 在 给 定 的 时 间 内 没有 写 〈 创 建 / 
Yea) 时 ， 则 被 回收 ， 即 定期 会 回收 缓存 数据 。 


expireAfterAccess: 设置 TITI， 绥 存 数据 在 给 定 的 时 间 内 没有 被 旋 / 写 
时 ， 则 被 回收 。 每 次 访问 时 ， 都 会 更 新 它 的 TII， 从 而 如 末 访 缓存 是 非 
第 热 的 数据 ， 则 将 一 直 不 过 期 ， 可 能 会 导致 脏 数据 存在 很 长 时 间 C 
此 ， 建 议 设置 expireAfterWrite ) 。 

绥 存 回收 策略 /基于 Java 对 象 引用 

weakKeys/weakValues: 85355 HÆFT. 

softValues: WARKI HET. 

缓存 回收 全 上 略 /主动 失效 


invalidate(Object key)/ invalidateAll(Iterable<?> keys)/invalidateAll(): 
主动 失效 某 些 缓存 数据 。 


什么 时 候 触 发 失效 昵 ? Guava ” Cache 不 会 在 绥 存 数据 失效 时 立即 触发 回 
收 操 作 (如 果 要 这 么 做 ， 则 需要 有 和 额外 的 线程 来 进行 清理 ) ， 而 在 PUT 
时 会 主动 进行 一 次 绥 存 清理 ， 当 然 谈 者 也 可 以 根据 实际 业务 通过 目 己 议 


计 线 程 来 调用 cleanUp 方 法 进行 清理 。 
并 发 级 别 


concurrencyLevel: Guava Cache 重 与 了 ConcurrentHashMap， 
concurrencyLevel 用 来 设置 Segment 数 量 ，concurrencyLevel 越 六 并 友 能 力 
越 强 。 


统计 命中 座 
recordStats: ”启动 记录 统计 信息 ， 比 如 命中 率 等 。 
2.Ehcache 3.x 5: Hil 


本 文 使 用 最 新 的 Ehcache 3.1.2, HHBfEhcache 3.x 碑 本 还 比较 新 ， 一 些 文 
RIBAS eR CS o 


CacheManager cacheManager = CacheManagerBuilder. newCacheManagerBuilder(). 
build(true); 
CacheConfigurationBuilder<String, String» cacheConfig = 
CacheConfigurationBuilder.newCacheConfigurationBuilder( 
String.class, 
String.class, 
ResourcePoolsBuilder.newResourcePoolsBuilder() 
.heap(100, EntryUnit.ENTRIES)) 
.WithDispatcherConcurrency (4) 
.WithExpiry (Expirations.timeToLiveExpiration(Duration.of(10, 
TimeUnit.SECONDS))); 


Cache«String, String» myCache - cacheManager.createCache ("myCache", 
cacheConfig); 


CacheManagerfEJV MX: B] ES] vl H CacheManager.close()7; 7X, HJ WR 
PUT、GET 来 读 写 缓存 。CacheConfigurationBuilder 也 有 几 类 参数 : 缓存 
回收 策略 、 并 及 设置 、 统 计 命 中 率 等 。 


绥 存 回收 束 略 /基于 容量 


heap(100, EntryUnit.ENTRIES) : 设置 缓存 的 条 目 数量 ， 当 超出 此 数量 


时 按照 LRU 进 行 缓存 回收 。 

绥 存 回收 策略 /基于 空间 

heap(100, MemoryUnit.MB): ”设置 绥 存 的 内 存 空间 ， 当 超出 此 空间 时 
按照 LRU 进 行 缓存 回收 。 男 外 ， 应 该 设置 withSizeOfMaxObjectGraph(2) 
统计 对 象 大 小 时 对 象 岁 遇 历 深度 和 withSizeOfMaxObjectSize(1， 
MemoryUnit.KB ) 可 绥 存 的 最 大 对 象 大 小 。 

绥 存 回收 策略 /基于 时 间 


withExpiry(Expirations. timeToLiveExpiration (Duration. of (10, 
TimeUnit. SECONDS )): 设置 TTL， 没 有 TTTI。 


withExpiry(Expirations. timeToIdleExpiration (Duration. of (10, 
TimeUnit. SECONDS )): ”同时 设置 TTL 和 TTI， 且 TTL 和 TTI 值 一 样 。 


绥 存 回收 集 略 /主动 失效 


remove(K key)/ removeAll(Set«? extends K> keys)/clear(): Ea) KOC 
些 缓 仔 数 据 。 


什么 时 候 触 及 失效 呢 ?Ehcache 使 用 了 凑 似 于 Guava Cache 的 机 制 。 
FRB 

目前 还 没有 提供 API 来 设置 ，Ehcache 内 部 使 用 ConcurrentHashMap 作 为 
绥 存 存储 ， 默 认 并 发 级 别 16。withDispatcherConcurrency 是 用 来 设置 事 
件 分 肥 时 的 并 及 级 别 。 

统计 命中 率 

目前 还 没有 开放 API 来 统计 。 


3.MapDB 3.x 实 现 


HTreeMap myCache = 
DBMaker.heapDB().concurrencyScale(16).make().hashMap ("myCache") 
.expireMaxSize (10000) 

.expireAfterCreate(10, TimeUnit. SECONDS) 
.expireAfterUpdate(10, TimeUnit. SECONDS) 
.expireAfterGet(10, TimeUnit.SECONDS) 


.create(); 


然后 可 以 通过 PUT、 GET 来 谈 写 绥 存 。 其 有 几 类 参数 : 绥 存 回收 策略 、 
并 发 设置 、 统 计 命 中 率 等 。 


BAL EAR /基于 容量 


expireMaxSize: ”放置 缓存 的 容量 ， 当 超出 expireMaxSize 时 ， 投 照 LRU 
进行 缓存 回 收 。 

绥 存 回收 策略 /基于 时 间 

expireAfterCreate/expireAfterUpdate: ”设置 TIL， 绥 存 数 据 在 给 定 的 
ITAA OER m) 时 ， 则 被 回收 ， 即 定期 地 会 回收 缓存 数 

据 。 

expireAfterGet: ”设置 TITI， 绥 存 数 据 在 给 定 的 时 间 内 没有 被 谈 / 写 时 ， 
则 被 回收 。 每 次 访问 时 都 会 更 新 它 的 TTI， 从 而 如 果 访 缓存 是 非 冲 热 的 
数据 ， 则 将 一 直 不 过 期 ， 可 能 会 导致 脏 数 据 存 在 很 长 的 时 间 《〈 因 此 ， 建 


DL BLexpireAfterCreate/expireAfterUpdate) 。 
BAF (UN MS /主动 失效 
remove(Object key) /clear(): 主动 失效 东 些 缓存 数据 。 


TPZ ERY APRA AZ RIE? MapDB 默 认 使 用 类 似 于 Guava Cache 的 机 制 。 不 
过 ， 也 文 持 通过 如 下 配置 使 用 线程 池 定 期 进行 绥 存 失效 。 


.expireExecutor(scheduledExecutorService ) 


.expireExecutorPeriod(3000) 
FRA 


concurrencyScale: ”类 似 于 Guava Cache 的 配置 。 


统计 命中 素 
8x. 


4 AY LUE RJDBMaker.memoryDBOQ 6! E ERT., “EOE BIH AP USE ig 
到 1MB 大 小 的 byte[] 数 组 中 ， 从 而 减少 垃圾 回收 的 影响 。 


9.4.2 HSI ET 
1.EhCache 3.x 实 现 


CacheConfigurationBuilder<String, String> cacheConfig = 


CacheConfigurationBuilder.newCacheConfigurationBuilder ( 

String.class, 

String. class; 

ResourcePoolsBuilder.newResourcePoolsBuilder() 

.offheap(100, MemoryUnit. MB) ) 

.WithDispatcherConcurrency (4) 

.WwithExpiry(Expirations.timeToLiveExpiration(Duration.of(10, 
TimeUnit.SECONDS))) 

.WwithSizeOfMaxObjectGraph (3) 

.WithSizeOfMaxObjectSize(1, MemoryUnit.KB); 


HE bee EAN SCH ie PS E eS A 
2.MapDB 3.x 实 现 
HTreeMap myCache = 


DBMaker.memoryDirectDB().concurrencyScale(16).make().hashMap ("myCache") 
.expireStoreSize(64 * 1024 * 1024) // 指 定 堆 外 缓存 大 小 64MB 
.expireMaxSize (10000) 

.expireAfterCreate(10, TimeUnit.SECONDS) 
.expireAfterUpdate (10, TimeUnit.SECONDS) 
.expireAfterGet (10, TimeUnit. SECONDS) 
.Create(); 


在 使 用 扒 外 缓存 时 ， 请 记得 浴 加 JVM 月 动 参数 ， 如 - 
XX:MaxDirectMemorySize-10G. 


9.4.3 ILE EET 
1.EhCache 3.x 3: jl 


CacheManager cacheManager - CacheManagerBuilder. newCacheManagerBuilder() 
/ /默认 线程 池 
.using(PooledExecutionServiceConfigurationBuilder 
.newPooledExecutionServiceConfigurationBuilder() 
.defaultPool ("default", 1, 10) .build()) 
/ | RA SOP AEE LB 
.With (new CacheManagerPersistenceConfiguration (new File("D:WWMbak") ) ) 
.build(true); 


CacheConfigurationBuilder<String, String> cacheConfig = 
CacheConfigurationBuilder. newCacheConfigurationBuilder ( 
String.class, 


String.class, 
ResourcePoolsBuilder.newResourcePoolsBuilder() 
.disk(100, MemoryUnit.MB, true)) // 人 厂 盘 缓存 
.withDiskStoreThreadPool ("default", 5) 
// 使 用 "default" 线 程 池 进 行 dump 文件 到 磁盘 
.WithExpiry(Expirations.timeToLiveExpiration(Duration.of(50, 
TimeUnit.SECONDS) ) ) 
.WwithSizeOfMaxObjectGraph (3) 
.WithSizeOfMaxObjectSize(1, MemoryUnit. KB) ; 


在 JVM 停 止 时 ， 记 得 调用 cacheManager .close()， 从 而 保证 内 存 数 据 能 
dump F! Fi . 


2.MapDB 3.x 实 现 


DB db = DBMaker 
.fileDB("D:\\bak\\a.data") // 数 据 存 哪里 
.fileMmapEnable() // 有 局 用 mmap 
.fileMmapEnableIfSupported() // 在 文 持 的 平台 上 局 用 mmap 
.fileMmapPreclearDisable() //ikmmap 文件 更 快 
.cleanerHackEnable() // 一 些 BUG 处 理 
.transactionEnable() // 启 用 事务 
.closeOnJvmShutdown () 
.concurrencySscale (16) 
.make(); 


HTreeMap myCache = db.hashMap ("myCache") 
.expireMaxSize(10000) 
.expireAfterCreate(10, TimeUnit. SECONDS) 
.expireAfterUpdate(10, TimeUnit.SECONDS) 
.expireAfterGet(10, TimeUnit. SECONDS) 


.createOrOpen (); 


因为 开启 了 事务 ，MapDB 则 开启 了 WAL。 另 外 ， 操 作 完 缓存 后 记得 调 
用 db.commit 方 法 提交 事务 。 


myCache.put("key" + counterWriter, "value" + counterWriter); 
db .commit(); 
9.4.4 J) DAE 


本 文 使 用 Ehcache 3.1+Terracotta server 实 现 ，Ehcache 3.1 引 入 了 一 个 下 载 
套件 ， 其 包含 了 Terracotta Server。 


Ehcache 3 with clustering support 


Ehcache 3.1 (with clustering) kit .zip 


> Js client 
J}. legal 

4 |. server 
|i. bin 
I lib 


> J) plugins 


start-tc-server.bat 
start-tc-server.sh 


cms) 


| tc-config.xml 





调用 start-tc-server 脚 本 局 动 tc server. 
1. 架 构 


应 用 1 


堆 外 缓存 堆 外 缓存 


分 布 式 级 存 TA BAF 


Terracotta Server Terracotta Server 
active standby 





2.Terracotta Server 配 置 


<?xml version="1.0" encoding="UTF-8"?> 
<tc-config xmlns="http://www.terracotta.org/config" 


xmlns:ohr-"http://www.terracotta.org/config/offheap-resource"» 


«servers» 
«server host-"192.168.147.50" name-2"s1"» 
<tsa-port>9510</tsa-port> 
<tsa-group-port>9530</tsa-group-port> 
</server> 


<server host="192.168.147.52" name="s2"> 
<tsa-port>9510</tsa-port> 
<tsa-group-port>9530</tsa-group-port> 
</server> 


<client-reconnect-window>30</client-reconnect-window> 
<restartable enabled="true"/> 


</servers> 


<services> 
<service id="resources"> 
<ohr:offheap-resources> 
<ohr: resource name="cache" unit="MB">64</ohr: resource> 
</ohr:offheap-resources> 
</service> 
</services> 
</te=contig> 


配置 了 两 个 tc server, —3—4&. EAR HRS 8B rm US FA. FAAS JB 


zJ] PY &tc server. 
./Start-tc-server.sh -f tc-config.xml -n s1 


./start-tc-server.sh -f tc-config.xml -n s2 


3.Ehcache 代 三 片段 


CacheManagerBuilder<PersistentCacheManager> 
clusteredCacheManagerBuilder = 
CacheManagerBuilder.newCacheManagerBuilder() 
.With(ClusteringServiceConfigurationBuilder.cluster(URI.create( 
"terracotta://192.168.147.50:9510")) . readOperationTimeout (500, 
TimeUnit.MILLISECONDS) .autoCreate()); 


final PersistentCacheManager cacleManager = dusteredCacheManagerBuilder. 
build (true); 


Cache<String, String> myCache = cacheManager.createCache ("myCache", 
CacheConfigurationBuilder.newCacheConfigurationBuilder( 


String.class, 
Sring. class, 
ResourcePoolsBuilder.newResourcePoolsBuilder() 
.with (ClusteredResourcePoolBuilder 
.clusteredDedicated ( 
"cache", 32, MemoryUnit. MB) ) ) 
»withDispatcherConcurrency (4) 
»withExpiry (Expirations. timeToLiveExpiration(Duration.of 
(10, TimeUnit.SECONDS) ) ) ); 


AyD S—^ iE, ee A fae SIP 192.168.147.501% & Las Htc 
server, ALA 450% GHLAEE SIN, RUE Nae ERE SISQHL AS o 
AN REAR HK Ehcache t f se FF, Ba A) DAS ee eS SE FT m 
BigMemory (付费 ) 。 


对 于 分 布 式 绥 存 个 人 还 是 喜欢 使 用 Redis 之 类 的 ， 性 能 也 非常 好 ， 有 主 
从 模式 、 集 群 模 式 。 目 前 不 建议 使 用 Ehcache 3.1+Terracotta ”server 组 
A^. 


Lo 


9.45 多 级 绥 存 


如 先 俘 找 堆 组 和 存 ， 如 来 没有 则 合 找 磁盘 绥 和 存 ， 那 么 使 用 MapDB 通 过 如 
下 配置 实现 。 


HTreeMap diskCache = db.hashMap ("myCache") 
.expireStoreSize(8 * 1024 * 1024 * 1024) 
.expireMaxSize(10000) 
.expireAfterCreate(10, TimeUnit. SECONDS) 
.expireAfterUpdate(10, TimeUnit. SECONDS) 
.expireAfterGet(10, TimeUnit. SECONDS) 
.CreateOrOpen(); 


HTreeMap heapCache = db.hashMap ("myCache" ) 
.expireMaxSize(100) 
.expireAfterCreate(10, TimeUnit. SECONDS) 
.expireAfterUpdate(10, TimeUnit. SECONDS) 
.expireAfterGet(10, TimeUnit. SECONDS) 
.expireOverflow(diskCache) // 当 缓存 澶 出 时 存储 到 disk 
.CreateOrOpen(); 


对 于 更 复杂 的 多 级 缓存 请 参考 “第 11 章 多 级 缓存 ”。 
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9.5.1 多 级 缓存 API 封 装 

我 们 的 业务 数据 如 商品 类 目 、 店 铺 、 商 品 基本 信息 等 都 可 以 进行 适当 的 
本 地 缓存 ， 以 提升 性 能 。 对 于 多 实例 的 情况 ， 不 仅 会 使 用 本 地 缓存 ， 还 
会 使 用 分 布 式 缓存 ， 因 此 需要 进行 适当 的 API 封 装 以 简化 缓存 操作 。 


1. 本 地 绥 仓 初始 化 


public class LocalCacheInitService extends BaseService { 
@Override 
public void afterPropertiesSet() throws Exception { 
// 商 品类 目 缓存 
Cache«String, Object» categoryCache = 
CacheBuilder.newBuilder() 
.SoftValues() 
.maximumSize (1000000) 
.expireAfterWrite (Switches.CATEGORY.getExpiresInSe 
conds() / 2, TimeUnit.SECONDS) 
Build; 
addCache (CacheKeys.CATEGORY KEY, categoryCache); 


private void addCache(String key, Cache<?, ?> cache) { 
localCacheService.addCache(key, cache); 


| 


本 地 绥 存 过 期 时 间 使 用 分 布 式 绥 存 过 期 时 间 的 一 半 ， 防 止 本 地 绥 存 数据 
绥 存 时 间 六 长 造成 多 实例 间 的 数据 不 一 致 。 


万 外 ， 将 缓存 key 前 绥 与 本 地 组 他 关联 ， 从 而 匹配 缓存 key 前 级 ， 驳 可 以 
找到 相关 联 的 本 地 缓存 。 


2. 写 缓存 API 封 装 


先 写本 地 缓存 ， 如 果 需 要 写 分 布 式 缓存 ， 则 通过 异步 更 新 分 布 式 绥 存 。 


public void set(final String key, final Object value, 
final int remoteCacheExpiresInSeconds) throws RuntimeException { 
if (value == null) { 
return; 


} 


// 复 制 值 对 象 
// 本 地 缓存 是 引用 ， 分 布 式 缓存 需要 序列 化 
// 如 条 不 复制 的 话 ， 则 假设 数据 更 改 后 将 造成 本 地 缓存 与 分 布 式 缓存 不 一 至 
final Object finalValue = copy(value); 
// 如 果 配 置 了 写本 地 缓存 ， 则 根据 KEY 获得 相关 的 本 地 缓存 ， 然 后 写 入 
if (writeLocalCache) | 
Cache localCache = getLocalCache(key); 
if (localCache != null) { 
localCache.put(key, finalValue); 
| 
} 
/ /如 果 配 置 了 不 写 分 布 式 级 和 存 ， 则 生 接 返回 
if (!writeRemoteCache) | 
return; 
} 
/ H FRY ER AM E 
asyncTaskExecutor.execute(() -> { 
try { 
redisCache.set( 
key, 
JSONUtils.toJSON(finalValue), 
remoteCacheExpiresInSeconds); 
} catch (Exception e) { 
LOG .error ("update redis cache error, key : {}", key, e); 


此 处 使 用 了 腊 步 更 新 ， 目 的 是 尽快 返回 用 户 请 求 。 而 因为 有 本 地 缓存 ， 
cn 回 源 ， 也 可 以 在 本 地 绥 仓 命 


3. 读 缓存 API 封 装 


爷 该 本 地 缓存 ， 本 地 缓 仔 不 命中 的 冉 批量 查询 分 布 陈 缓 仔 ， 在 得 询 分 布 
却 缓 人 存 时 通过 分 区 批量 查询 。 


private Map innerMget(List«String» keys, List<Class> types) 
throws Exception { 
Map<String, Object» result = Maps.newHashMap(); 
List«String» missKeys = Lists.newArrayList(); 
List<Class> missTypes = Lists.newArrayList(); 
/ /如果 配置 了 读本 地 缓存 ， 则 先 读本 地 缓存 
if (readLocalCache) | 
for (int i = 0; i < keys.size(); i++) ( 
String key = keys.get(i); 
Class type = types.get(i); 
Cache localCache = getLocalCache (key); 
if (localCache != null) { 
Object value = localCache.getIfPresent (key); 
result.put(key, value); 
if (value -- null) ( 
missKeys.add(key); 
missTypes.add(type); 
} 
} else { 
missKeys.add(key); 
missTypes.add(type); 


} 
// 如 果 配 置 了 不 读 分 布 式 缓存 ， 则 返回 
if(!readRemoteCache) (| 
return result; 
} 
final Map<String, String> missResult = Maps.newHashMap(); 


// 对 key 分区， 不 要 一 次 性 批量 调用 太 大 
final List<List<String>> keysPage = Lists.partition(missKeys, 10); 
List<Future<Map<String, String>>> pageFutures = ListsewArrayList(); 


try | 
/ /批量 获取 分 布 式 缓存 数据 
for(final List<String> partitionKeys : keysPage) { 
pageFutures.add(asyncTaskExecutor.submit ( 
() -> redisCache.mget (partitionKeys))); 
} 
for (Future<Map<String, String>> future : pageFutures) { 
missResult.putAll (future.get (3000, TimeUnit.MILLISECONDS) ) ; 


} 

} catch (Exception e) { 
pageFutures.forEach(future -> future.cancel(true)); 
throw e; 

} 

/ /合并 result 和 missResult， 此 处 实现 省 略 

return result; 


此 处 将 批量 读 组 人 存 进 行 了 分 区 ， 防 止 乱用 批量 获取 API。 
9.5.2 NULL Cache 

首先 ， 定 义 NULL 对 象 。 

private static final String NULL_STRING = new String(); 

当 DB 没 有 数据 时 ， 写 入 NULL 对 象 到 绥 存 。 


/ /查询 DB 
String value = loadDB(); 
/ /如 果 DB 没有 数据 ， 则 将 其 封装 为 NULL STRING FF MAB 
if(value == null) 
value = NULL STRING; 


} 
myCache.put(id, value); 


谈 取 数据 时 ， 如 林 肥 现 NULL 对 象 ， 则 返回 null， 而 个 是 回 源 到 DB。 


value = suitCache.getIfPresent(id); 
/ /DB HR IRE] null 
if (value == NULL STRING) | 

return null; 


} 


I DA Bi 1E 2d keyost NL BS ZI TEDB HAN 4F ERY UR J DB 
情况。 


9.5.3 ”强制 获取 最 新 数据 


在 实际 应 用 中 ， 我 们 经 党 需要 强制 更 新 数据 ， 此 时 束 不 能 使 用 绥 存 数据 
了 ， 可 以 通过 配置 ThreadLocal 开 关 来 决定 是 含 强制 刷新 缓存 〈refresh 方 
法 要 配合 CacheLoader 一 起 使 用 ) 。 


if (ForceUpdater.isForceUpdateMyInfo ()) 1 


myCache.refresh(skuId) ; 
j 
String result = myCache.get(skuId); 
if(result == NULL STRING) | 

return null; 


j 


9.5.4 ”失败 统计 


private LoadingCache<String, AtomicInteger> failedCache = 
CacheBuilder.newBuilder() 
.SoftValues() 
.maximumSize (10000) 
.build (new CacheLoader<String, AtomicInteger>() { 
@Override 
public AtomicInteger load(String skuId) throws Exception { 
return new AtomicInteger(0); 
} 
)); 


当 失 败 时 ， 通 过 failedCache.getUnchecked(id).incrementAndGetO 增 加 失 
WIRE; 当成 功 时 ， 使 用 failedCache.invalidate(id) 使 缓存 失效 。 通 过 这 
种 方式 可 以 控制 撩 败 重 试 次 数 。 而 且 当 内 存 不 足 时 ， 绥 存 数 据 可 以 被 垃 
圾 回收 以 腾 出 一 些 空 间 。 


9.5.5 ”延迟 报警 


private static LoadingCache<String, Integer» alarmCache = 
CacheBuilder.newBuilder() 
. SoftValues() 
.maximumSize(10000).expireAfterAccess(1, TimeUnit.HOURS) 
.build(new CacheLoader<String, Integer»() { 


@Override 
public Integer load(String key) throws Exception { 
return 0; 
} 
)); 

/ /报警 代码 
Integer count = 0; 
if(redis !- null) { 


String countStr - 
Objects.firstNonNull(redis.opsForValue().get(key), "0"); 
count = Integer.valueOf(countStr); 


) else { 
count - alarmCache.get(key); 
} 
if(count 一 
/ /报警 
} 
count = count + lr 
if(redis '= null) { 
redis.opsForValue().set(key, String.valueOf(count), 
1, TimeUnit. HOURS) ; 
} else { 


alarmCache.put(key, count); 


如 果 一 出 问题 就 报警 ， 则 存在 报警 量 过 多 或 者 假 报警 的 问题 ， 因 此 ， 可 
以 考虑 N AGRE SM 次 ， 才 真正 报警 。 此 时 ， 也 可 以 使 用 Cache 来 统 
计 。 本 示例 还 加 入 了 Redis 分 布 式 缓存 记录 支持 。 


9.6 24648 FA hese RK 


前 面 已 经 介绍 了 Java 绥 存 的 使 用 。 对 于 我 们 来 说 ， 如 东 有 人 已 总 结 出 一 


些 缓存 使 用 模式 /模板 ， 我 们 在 使 用 时 直接 照搬 模式 即 可 。 确 实 已 经 有 
忌 结 好 的 模式 ， 主 要 分 两 大 类 : Cache-Aside 和 Cache-As-SoR (Read- 
through. Write-through、Write-behind) 。 


首先 ， 介 绍 三 个 名 词 。 


SoR (system-of-record) : ”记录 系统 ， 或 者 可 以 叫做 数据 源 ， 即 实际 
存储 原始 数据 的 系统 。 


Cache: 缓存， 是 SoR 的 快照 数据 ，Cache 的 访问 速度 比 SoR 要 快 ， 放 入 
Cache 的 目的 是 提升 访 癌 速度 ， 减 少 回 源 到 SoR 的 次 数 。 


回 源 : “ 即 回 到 数据 源头 获取 数据 ，Cache 没 有 命中 时 ， 需 要 从 SoR 访 取 
数据 ， 这 叫做 回 源 。 


本 文 主 要 以 Guava Cache 和 Ehcache3.x 作 为 实践 框架 来 讲解 。 
9.0.1 Cache-Aside 


Cache-Aside 即 业务 代码 围绕 着 Cache 写 ， 是 由 业务 代码 直接 维护 缓存 ， 
示例 代码 如 下 所 示 。 


//1. HURT HP RRB 

value = myCache.getIfPresent (key); 

1f(value == null) { 
//2.1. 如 果 缓 存 没 有 命中 ， 则 回 源 a 到 SoR 获取 源 数 据 
value = loadFromSoR(key); 
//2.2. KRA RT. PUB AT MBE PRE BE 
myCache.put (key, value); 

} 


读 场 景 ， 完 从 绥 存 获取 数据 ， 如 果 没 有 命中 ， 则 回 源 到 SoR 并 将 源 数 据 
LABRET PRERE HI. 


写 场 景 ， 先 将 数据 写 入 SoR， 写 入 成 功 后 立即 将 数据 同步 写 入 绥 存 。 
/1. 先 将 数据 写 入 SoR 


writeToSoR (key, value); 


/2. 执 行 成 功 后 立即 同步 写 入 缓存 
myCache.put(key, value); 
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//1. 先 将 数据 号 入 SoR 

writeToSoR (key, value); 

/2. 矢 效 缓 仓 ， 然 后 下 次 恋 时 册 加 载 缓 仔 
myCache.invalidate(key); 


Cache-Aside 适 合 使 用 AOP 模 式 去 实现 ， 有 具体 操作 可 以 参考 笔者 的 博客 
《Spring Cache 抽 象 详解 》。 


对 于 Cache-Aside， 可 能 存在 并 发 更 新 情况 ， 即 如 果 多 个 应 用 实例 同时 更 
Bb SASTEAA 


-o WREHP ERA CO 3». HUM . XURRJLASEdETS 
小 ， 因 为 并 有 友 的 情况 很 少 ， 可 以 不 元 虑 这 个 问题 ， 加 上 过 期 时 间 来 解决 
BI nJ. 


-对 于 如 商品 这 种 基础 数据 ， 可 以 考虑 使 用 canal 订 疝 binlog， 来 进行 增 
量 更 新 分 布 式 缓存 ， 这 样 不 会 存在 绥 存 数据 不 一 致 的 情况 。 但 是 ， 绥 存 
更 新 会 存在 延迟 。 而 本 地 缓存 可 根据 不 一 致 容 妨 度 设置 合理 的 过 期 时 
Ee 


读 服 务 场景 ， 可 以 考虑 使 用 一 致 性 哈 希 ， 将 相同 的 操作 负载 均衡 到 同 
一 个 实例 ， 从 而 减少 并 发 几率 。 或 者 设置 比较 短 的 过 期 时 | 间 ， 可 参 

考 “ 第 17 章 京东 商品 详情 页 服务 闭环 实践 ”。 

9.6.2 Cache-As-SoR 


Cache-As-SoR 妈 把 Cache 看 作为 SoOR， 所 有 操作 都 是 对 Cache 进 行 ， 然 后 
Cache 再 委托 给 SoR 进 行 真 实 的 读 / 写 。 即 业务 代码 中 只 看 到 Cache 的 操 


作 ， 看 不 到 关于 SoR 相 关 的 代码 。 有 三 种 实现 : read-through, write- 


through. write-behind. 


9.6.3 Read-Through 


Read-Through， 籽 务 代码 首先 调用 Cache， 如 果 Cache 不 命中 由 Cache 回 
源 到 SoR， 而 不 是 业务 代码 〈 即 由 Cache 读 SoR) 。 使 用 Read-Through 模 
式 ， 需 要 配置 一 个 CacheLoader 组 件 用 来 回 源 到 SoR 加 载 源 数据 。Guava 
Cache 和 Ehcache 3.x 都 文 持 该 模式 。 


1.Guava Cache 实 现 


LoadingCache«Integer, Result<Category>> getCache = 
CacheBuilder.newBuilder() 
.softValues () 
.maximumSize (5000) .expireAfterWrite(2, TimeUnit.MINUTES) 
.build (new CacheLoader<Integer, Result<Category>>() { 
@Override 
public Result<Category> load(final Integer sortId) 
throws Exception { 
return categoryService.get(sortId); 


)); 


在 build Cache 时 ， 传 入 一 个 CacheLoader 用 来 加 载 缓存 ， 操 作 流 程 如 下 。 

(1) 应 用 业务 代码 直接 调用 getCache .get(sortId). 

(2) 首先 租 询 Cache， 如 果 绥 存 中 有 ， 则 直接 返 回 绥 存 数 据 。 

(3) 如 果 绥 存 没 有 命中 ， 则 委托 给 CacheLoader，CacheLoader 会 回 源 到 
SOR 查询 源 数 据 (返回 值 必 须 不 为 null， 可 以 包装 为 Null 对 象 )， 然 后 写 
NETT -o 
使 用 CacheLoader 后 有 几 个 好 处 。 


:应 用 业务 代码 更 简洁 了 了， 不 需要 像 Cache-Aside 模 式 那 样 绥 存 查询 代码 
和 SoR 人 代码 交织 在 一 起 。 如 采 绥 存 使 用 逸 辑 散 洛 在 多 处 ， 则 使 用 这 种 方 


却 很 简单 地 消除 了 重复 代 但 。 


:解决 Dog-pile effect， 即 当 茶 个 缓存 失 效 时 ， 又 有 大 量 相 同 的 请 求 没命 
II 从 而 使 请 求 同 时 到 后 端 ， 导 致 后 端 压力 太 大 ， 此 时 限定 一 个 请 
求 去 拿 即 可 。 


if (firstCreateNewEntry) {// 第 一 个 请 求 加 载 缓存 的 线程 去 SOR 加 载 源 数据 
cry d 
synchronized (e) { 
return loadSync(key, hash, loadingValueReference, loader); 
} 
} finally { 
statsCounter.recordMisses (1); 
} 
} else {// 其 他 并 友 线 程 等 每 “此 一 个 线程 ”加 载 的 数据 
return waitForLoadingValue(e, key, valueReference); 


} 


Guava Cache 还 支持 get(K key, Callable<? extends V> valueLoader) 方 法 ， 
传 入 一 个 Callable 实 例 ， 当 绥 存 没命 中 时 ， 会 调用 Callable#call 来 得 询 
SoR 加 载 产 数据 。 


2.Ehcache 3.X 实 现 


CacheManager cacheManager = 
CacheManagerBuilder. newCacheManagerBuilder(). build(true); 
org.ehcache.Cache<String, String» myCache = 
cacheManager. createCache ("myCache", 
CacheConfigurationBuilder 
.newCacheConfigurationBuilder ( 
String.class, String.class, 
ResourcePoolsBuilder.newResourcePoolsBuilder() 
.heap(100, MemoryUnit.MB)) 
.WithDispatcherConcurrency (4) 
.WithExpiry (Expirations. timeToLiveExpiration(Duration.of 
(10, TimeUnit.SECONDS) ) ) 
.withLoaderWriter ( 
new DefaultCacheLoaderWriter<String, String> () { 
@Override 
public String load(String key) throws Exception { 
return readDB(key) ; 
} 
@Override 
public Map<String, String> loadAll (Iterable<?extends 


String> keys) throws BulkCacheLoadingException, Exception { 
return null; 


})); 


Ehcache 3.X 使 用 CacheLoaderWriter 来 实现 ， 通 过 load(K keV) 和 
loadAll(Iterablec? extends K> keys) 分 别 来 加 载 单 个 key 和 批量 kev。 
Ehcache 3.1 没 有 目 己 去 解决 Dog-pile effect. 


9.6.4 Write- Through 


Write-Through, WRI 2 A BIRNA SIRIN 业务 代码 首 乞 调用 
Cache 写 〈 新 增 / 修 改 ) 数据 ， 然 后 由 Cache 负 责 写 缓存 和 写 SoR， 而 不 是 
由 业务 代码 。 使 用 Write-Through 柑 式 需要 配置 一 个 CacheWriter 组 件 用 来 
回 写 SoOR。Guava Cache 没有 提供 文 持 。Ehcache 3.x 文 持 该 模式 。 
Ehcache 需 要 配置 一 个 CacheLoaderWriter，CacheLoaderWriter 知 道 如 何 
去 写 SoR。 当 Cache 需 要 写 〈 新 增 /修改 ) 数据 时 ， 首 先 调 用 
CacheLoaderWriter (OLEN) 同步 到 SoR， 成 功 后 会 更 新 缓存。 





CacheManager cacheManager = 
CacheManagerBuilder.newCacheManagerBuilder ().build(true); 
org.ehcache.Cache«String, String» myCache = 
cacheManager.createCache ("myCache", 
CacheConfigurationBuilder 
.newCacheConfigurationBuilder(String.class, String.class, 
ResourcePoolsBuilder.newResourcePoolsBuilder() 
.heap(100, MemoryUnit.MB)) 
.WithDispatcherConcurrency (4) 
.WithExpiry (Expirations.timeToLiveExpiration(Duration.of( 
10, TimeUnit.SECONDS) ) ) 
.withLoaderWriter ( 
new DefaultCacheLoaderWriter<String, String> () { 
@Override 
public void write(String key, String value) 
throws Exception { 
//write 
} 
@Override 
public void writeAll(Iterable<? extends Map.Entry<? 


extends String, ?extends String>> entries) throws BulkCacheWritingException, 
Exception { 
for(Object entry : entries) { 
//batch write 


} 

@Override 

public void delete(String key) throws Exception { 
//delete 

} 


@Override 
public void deleteAll(Iterable«? extends String> keys) 


throws BulkCacheWritingException, Exception { 
for(Object key : keys) { 
//batch delete 


}) .build()); 


Ehcache “3.x 还 是 使 用 CacheLoaderWriter 来 实现 ， 通 过 write(String key, 
String value). writeAll(Iterable<? extends Map.Entry<? extends String, ? 
extends String>> entries) 和 delete(String key). deleteAll(Iterable<? extends 
String> keys) 分 别 来 文 持 单个 号、 批量 写 和 单个 删除 、 批 量 删 除 操 作 。 
操作 流程 如 下 。 


1. 当 我 们 调用 myCache.put("e"，"123") 或 者 myCache.putAll(map) 时 ， 写 组 
ff. 


2. 首 先 ，Cache 会 将 写 操 作 立 即 委托 给 CacheLoaderWriter#write 和 
#writeAl1， 然 后 由 CacheLoaderWriter 负 责 立 即 去 写 SoR 。 


3. 当 写 SoR 成 功 后 ， 再 写 入 Cache。 


9.6.5 Write-Behind 


Write-Behind， 也 叫 Write-Back， 我 们 称 之 为 回 写 模式 。 不 同 于 Write- 
Through 是 同步 号 SoR 和 Cache，Write-Behind 是 异步 写 。 异 步 之 后 可 以 实 
现 批量 号 、 合 并 写 、 延 时 和 限 流 。 


1. 异 步 写 


CacheManager cacheManager = CacheManagerBuilder. newCacheManagerBuilder() 
.using (PooledExecutionServiceConfigurationBuilder 
.newPooledExecutionServiceConfigurationBuilder() 
.pool("writeBehindPool", 1, 5) 
,区 
.build(true); 
org.ehcache.Cache<String, String» myCache = 
cacheManager. createCache ("myCache", 


CacheConfigurationBuilder 
.DnewCacheConfigurationBuilder(String.class, String.class, 
ResourcePoolsBuilder.newResourcePoolsBuilder () 
.heap (100, MemoryUnit. MB) ) 
.WithDispatcherConcurrency (4) 
.WithExpiry(Expirations.timeToLiveExpiration(Duration.of 


(10, TimeUnit.SECONDS))) 
.withLoaderWriter ( 
new DefaultCacheLoaderWriter«String, String >() { 
@Override 
public void write(String key, String value) 
throws Exception { 


//write 


@Override 
public void delete(String key) throws Exception { 


//delete 


}) 

.add (WriteBehindConfigurationBuilder 
.DewUnBatchedWriteBehindConfiguration() 
.queueSize(5) 

.concurrencyLevel (2 
.useThreadPool ("writeBehindPool") 
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几 个 重要 配置 如 下 。 


ThreadPool: 使 用 PooledExecutionServiceConfigurationBuilder 配 置 线 
程 池 ; 然后 WriteBehindConfigurationBuilder 通 过 useThreadPool 配 置 使 用 


哪 一 个 线程 池 。 

: WriteBehindConfigurationBuilder: E WriteBehind s hg . 
: CacheLoaderWriter: 配置 WriteBehind 如 何 操作 SoR。 
WriteBehindConfigurationBuilder 会 进行 如 下 几 个 配置 。 


: newUnBatchedWriteBehindConfiguration: 表示 不 进行 批量 处 理 。 


如 


配置 ， 那 么 所 有 批量 操作 都 将 会 转换 成 单个 操作 ， 即 CacheLoaderWriter 


只 需要 实现 write 和 delete 即 可 。 


- queueSize(int size): ”因为 操作 古 寞 步 回 写 SoR， 需 要 将 操作 先 放 入 与 
SESE. Alt, Hy queue size 定 义 写 操作 等 待 队 列 最 大 大 小 ， 
即 线程 池 队 列 大 小 。 内 部 使 用 
NonBatchingLocalHeapWriteBehindQueue. 


- concurrencyLevel(int concurrency): 配置 使 用 多 少 个 并 发 线程 和 队列 进 
行 WriteBehind。 因 为 我 们 只 传 入 一 个 线程 池 ， 是 如 何 实现 该 模式 的 呢 ? 
首先 看 如 下 代码 廊 段 。 


for (int i = 0; i < writeBehindConcurrency; itt) { 
if (config.getBatchingConfiguration() == null) { 
this.stripes. add ( 
new NonBatchingLocalHeapWriteBehindQueue«K, V»( 
executionService, defaultThreadPool, 
config, cacheLoaderWriter)); 
} else { 
this.stripes. add ( 
new BatchingLocalHeapWriteBehindQueue«K, V»( 
executionService, defaultThreadPool, 
config, cacheLoaderWriter)); 


可 以 看 到 ， 会 创建 concurrency level 个 队列 
NonBatchingLocalHeapWriteBehindQueue， 其 又 通过 如 下 代码 片段 创建 
线程 池 和 线程 池 队 列 。 


this.executorQueue = 
new LinkedBlockingQueue«Runnable» (config. getMaxQueueSize()); 
if (config.getThreadPoolAlias() == null) { 
this.executor = executionService.getOrderedExecutor ( 
defaultThreadPool, executorQueue); 
} else { 
this.executor = executionService.getOrderedExecutor ( 
config. getThreadPoolAlias(), executorQueue) ; 


- CacheLoaderWriter: 此 处 我 们 只 配置 了 write 和 delete， 而 writeAlL 和 
deleteAll 将 会 把 批量 操作 委托 给 write 和 delete。 


PooledExecutionService#getOrderedExecutor 方 法 会 创建 
PartitionedOrderedExecutor 实 例 。 


PartitionedOrderedExecutor ( 
BlockingQueue<Runnable> queue, ExecutorService executor) { 
this.delegate - new PartitionedUnorderedExecutor(queue, executor, 1); 


| 


其 使 用 maxWorkers=1 创 建 了 PartitionedUnorderedExecutor， 然 后 
Partitioned UnorderedExecutor 通 过 this.runnerPermit = new 
Semaphore(maxWorkers) 来 控制 并 发 ， 即 maxWorkers=1 束 实现 了 一 个 并 


O 


此 ，Ehcache 实 际 能 写 的 最 大 队列 大 小 为 concurrency level * queue 
SIZE o 


因为 内 部 使 用 线程 池 去 写 ， 因 此 束 实 现 了 寞 步 与 ， 义 因为 使 用 了 队列 ， 
因此 控制 了 总 的 吞吐 量 〈 此 处 要 注意 根据 实际 场 录 给 线程 池 配 置 
Rejected Policy) ， 接 下 来 看 一 下 如 何 实 现 批 量 与 。 


2. 批 量 写 


.withLoaderWriter (new DefaultCacheLoaderWriter<String, String»() { 
@Override 
public voidwriteAll(Iterable«? extends Map.Entry<? extends String, ? 
extends String>> entries) throws BulkCacheWritingException, Exception { 
for(Object entry : entries) { 
//batch write 


| 
@Override 
public void deleteAll(Iterable<? extends String> keys) throws 
BulkCacheWritingException, Exception { 
for(Object key : keys) { 
//batch delete 


}) 

.add (WriteBehindConfigurationBuilder 
.newBatchedWriteBehindConfiguration(3, TimeUnit.SECONDS, 2) 
.queueSize (5) 

.concurrencyLevel (1) 
.enableCoalescing () 
.useThreadPool ("writeBehindPool") 
Duilg(i i jy 


和 上 一 个 示例 不 同 的 地 方 是 使 用 了 newBatchedWriteBehindConfiguration 
进行 批量 配置 。 


newBatchedWriteBehindConfiguration(long — maxDelay, TimeUnit 
maxDelayUnit, int batchSize): 设置 批 处 理 大 小 和 最 大 延迟 。batchSize 用 
于 定义 批 处 理 大 小 ， 当 写 操 作 数 量 等 于 批 处 理 大 小 时 ， 将 把 这 一 批 数 据 
发 给 CacheLoaderWriter 进 行 处 理 。Ehcache 使 用 
BatchingLocalHeapWriteBehindQueue 实 现 批量 队列 ， 其 中 操作 批量 的 代 
AGU FB 


if (openBatch.add(operation)) {// 往 batch EDIt, YSN RSET ANE 
submit (openBatch) ; // 异 步 提 交 批 处 理 操作 
openBatch = null; 

} 


因此 ，Ehcache 实 际 能 写 的 最 大 队列 大 小 为 concurrency level * queue size 


* batch size. 


maxDelay FH T BG E A se TEA EET A ER, BLU. BAT Ce HK 
小 为 93， 而 我 们 实际 只 与 入 了 两 个 数据 ， 当 与 第 3 个 数据 时 ， 会 触及 提交 
批 处 理 操 作 。 但 是 ， 如 有 我 们 不 写 第 3 个 ， 那 么 将 造成 这 2 个 数据 一 直 等 
待 ， 我 们 可 以 设置 maxDelay， 当 超时 时 也 会 将 这 两 个 数据 提交 批 处 理 。 


- enableCoalescing: ”是 任 需 要 合并 写 ， 即 对 于 相同 的 key 只 记录 最 后 一 


次 数据 。 
- CacheLoaderWriter: write 和 delete 会 转换 为 writeAl1 和 deleteAl1， 即 批 
处 理 。 


9.6.6 Copy Pattern 


有 两 种 Copy Pattern, Copy-On-Read 〈 在 读 时 复制 ) 和 Copy-On- 
Write 〈 在 写 时 复制 ) ， 在 Guava Cache 和 Ehcache 中 堆 绥 存 都 是 基于 引用 
的 ， 这 样 如 果 有 人 拿 到 绥 存 数据 并 修改 了 它 ， 则 可 能 发 生 不 可 预测 的 问 
对 ， 笔 者 承 见 过 因为 这 种 情况 造成 数据 错误 。Guava ”Cache 没有 所 供 文 
持 ，Ehcache 3.x 提 供 了 支持 。 


public interface Copier<T> { 

T copyForRead(T obj); //Copy-On-Read, L5 UlmyCache.get () 

T copyForWrite(T obj); //Copy-On-Write, [4 myCache. put () 
j 


通过 如 下 方法 来 配置 key 和 Value 的 Copier。 
CacheConfigurationBuilder.withKeyCopier() 


CacheConfigurationBuilder.with V alueCopier() 
j LB ^, x v 
9.7 ”性 能 测试 
笔者 使 用 JMH 1.14 进 行 基准 性 能 测试 ， 比 如 测试 写 。 


@Benchmark 


@Warmup(iterations = 10, time = 10, timeUnit = TimeUnit.SECONDS ) 


@Measurement (iterations = 10, time = 10, timeUnit = TimeUnit. SECONDS) 
@BenchmarkMode (Mode. Throughput) 
@OutputTimeUnit (TimeUnit.SECONDS) 
@Fork (1) 
public void test 1 Write() { 
counterWriter = counterWriter + 1; 
myCache. put ("key" + counterWriter, "value" + counterWriter) ; 


} 


使 用 JMH 时 首先 进行 JVM 预 热 ， 然 后 进行 度量 ， 产 生 冲 试 结果 (本文 使 
HEEE) 。 建 议 读 者 按照 需求 进行 基准 性 能 测试 ， 以 选择 适合 目 己 的 
绥 存 框架 。 


9.8 ”参考 资料 


[1] http://www.ehcache.org/documentation/3.1/caching-terms.html 

[2] http://www.ehcache.org/documentation/3.1/caching-concepts.html 
[3] http://www.ehcache.org/documentation/3. 1/caching-patterns.html 
[4] http://www.ehcache.org/documentation/3. 1/clustered-cache.html 
[5] http://www.ehcache.org/documentation/3.1/writers.html 

[6] http://www.ehcache.org/documentation/3. 1/serializers-copiers.html 
[7] https://github.com/google/guava/wiki/CachesExplained 

[8] http://mapdb.org/doc/ 


[9] http://hg.openjdk.java.net/code-tools/jmh/file/tip/jmh- 
Samples/src/main/java/org/ openjdk/jmh/samples/ 


10 HTTP 绥 存 


10.1 简介 


遇 到 很 多 人 咨询 笔者 关于 浏览 器 缓存 的 一 些 问 题 ， 而 这 些 问题 都 是 类 似 
的 ， 本 章 内 容 就 是 用 来 解答 以 后 会 遇 到 的 类 似 问题 。 


办 本 章 主 要 以 浏览 器 绥 存 场景 来 介绍 ， 所 以 非 浏 览 器 场景 下 的 一 些 用 法 
本 章 不 会 介绍 ， 而 且 本 章 以 Chrome 为 测试 浏览 器 。 


浏 虹 和 占 组 和 存 是 指 当 我 们 使 用 浏览 占 访 问 一 些 网 站 页 面 或 者 HTTP 服 务 
时 ， 根 据 服务 右 问 返回 的 缓存 设 置 啊 应 头 将 啊 应 内 容 绥 存 到 浏览 融 ， 下 
次 可 以 了 二 接 使 用 绥 存 内 容 或 者 仪 需 要 去 服务 占 病 验证 内 容 是 任 过 期 即 
可 。 这 样 的 好 处 是 可 以 减少 浏览 强 和 服务 占 亲 之 则 来 回 传输 的 数据 量 ， 
万 省 市 宽 以 提升 性 能 。 


首先 看 个 例子 ， 当 我 们 第 一 次 访问 http://item.jd.com/1856588.html 时 ， 将 
得 到 如 下 啊 应 头 。 


Y General 
Request URL: http://item.jd.com/1856588.html 
Request Method: GET 
Status Code: @ 2900 OK 
Remote Address: 111.206.231.1:80 


V Response Headers 
Age: 3 
Cache-Control: max-age-68 
Connection: keep-alive 
Content-Encoding: gzip 
Content-Type: text/html; charset-gbk 
Date: Tue, 16 Aug 2016 12:07:44 GMT 
Expires: Tue, 16 Aug 2016 12:08:23 GMT 
Last-Modified: Tue, 16 Aug 2016 12:07:25 GMT 
ser: 3.81 
Server: jdws 
Transfer-Encoding: chunked 


Vary: Accept-Encoding 
Via: BJ-Y-NX-111(HIT), http/1.1 BJ-UNI-1-3CS-116 ( [cSsSfU]) 





接着 按 F5 刷 新 页 面 ， 将 得 到 如 下 啊 应 头 。 


Y General 
Request URL: http: //item.jd.com/1856588. html 
Request Method: GET 
Status Code: @ 384 Not Modified 
Remote Address: 111.286.231.1:88 

Y Response Headers view source 
Cache-Control: max-age-68 
Connection: keep-alive 
Date: Tue, 16 Aug 2016 12:87:53 GMT 
Expires: Tue, 16 Aug 2016 12:88:23 GMT 
Server: jdws 


Vary: Accept-Encoding 
Via: http/1.1 BJ-UNI-1-JCS-116 ( [cHs f ]) 
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接 下 来 ， 我 们 看 一 下 如 何在 Java 应 用 层 控 制 浏 览 器 绥 存 。 
10.2 HTTP 组 存 


10.2.1 Last-Modified 
如 下 是 我 们 的 Spring mvc 绥 存 测 试 代 码 。 


@RequestMapping ("/cache") 

public ResponseEntity<String> cache( 
/7 浏览 器 验证 文档 内 容 是 否 为 修改 时 传 入 的 Last-Modified 
@RequestHeader (value = "If-Modified-Since", required = false) 
Date ifModifiedSince) throws Exception { 


DateFormat gmtDateFormat = 
new SimpleDateFormat ("EEE, d MMM yyy HH:mm:ss 'GMT'! Locale US) ; 


// 文 档 最 后 修改 时 间 (去掉 毫 秒 值 ) (为 方便 测试 ， 每 10 秒 生成 一 个 新 的 ) 
long lastModifiedMillis = getLastModified() / 1000 * 1000; 


// 当 前 系统 时 间 〈 去 掉 曼 秒 值 ) 

long now = System.currentTimeMillis() / 1000 * 1000; 
// 文 档 可 以 在 浏览 器 端 /proxy 上 缓存 多 久 (单位 : B» 

long maxAge = 20; 


// 判 断 内 容 是 否 修改 了 ， 此 处 使 用 等 值 判断 
if (ifModifiedSince !- null 
&& ifModifiedSince.getTime() == lastModifiedMillis) { 
MultiValueMap<String, String» headers = new HttpHeaders(); 
// 当 前 时 间 
headers.add("Date", gmtDateFormat.format (new Date (now) ) ) ; 
// 过 期 时 间 http 1.0 支持 
headers.add("Expires", gmtDateFormat.format (new Date (now + mxAge 
* 1000))); 
// 文 档 生 存 时 间 http 1.1 支持 
headers.add("Cache-Control", "max-age=" + maxAge); 
return new ResponseEntity<String> ( 
headers, HttpStatus.NOT MODIFIED); 


} 


String body = "<a href=''> 点 击 访问 当前 链接 </a>"; 

MultiValueMap<String, String» headers = new HttpHeaders(); 

// 当 前 时 间 

headers.add("Date", gmtDateFormat.format (new Date (now))); 

// 文 档 修改 时 间 

headers.add("Last-Modified", gmtDateFormat.format (new 
Date(lastModifiedMillis))); 

// 过 期 时 间 http 1.0 支持 

headers.add("Expires", gmtDateFormat.format (new Date (now + maxAge * 
1000))); 

// 文 档 生 存 时 间 http 1.1 xf 


headers.add("Cache-Control", "max-age=" + maxAge); 


return new ResponseEntity<String>(body, headers, HttpStatus.OK); 


Cache«String, Long» lastModifiedCache = 
CacheBuilder.newBuilder() 
.expireAfterWrite(10, TimeUnit.SECONDS) .build(); 


public long getLastModified() throws ExecutionException { 
return lastModifiedCache. get ("lastModified", 
() -> { return System.currentTimeMillis(); }); 
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EX IJ http://localhost:9080/cache, J444 SU FM hv3k. 


¥ General 
Request URL: http: //localhost:9080/cache 
Request Method: GET 
Status Code: @ 288 
Remote Address: [::1]:9050 


Y" Response Headers view source 


Cache-Control: max-age-28 

Content-Length: 39 

Content-lype: text/html;charset-UTF-8 

Date: Tue, 17 Jan 2817 89:21:13 GMT 

Expires: Tue, 17 Jan 2017 89:21:33 GMT 
Last-Modified: Tue, 17 Jan 2817 89:21:13 GMT 
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: Last-Modified : 表示 文档 的 最 后 修改 时 间 ， 当 去 服务 器 验证 时 会 用 到 
这 个 时 间 。 


"Expires: http/1.0 规 施 定 义 ， 表 示 文 档 在 浏 贤 如 中 的 过 期 时 间 ， 当 缓存 


由 容 时 间 超 过 这 个 时 间 ， 则 需要 重新 去 服务 厚 狄 取 最 新 的 内 容 。 


-Cache-Control — : http/1.1 规 范 定义 ， 表 示 浏 虎 奉 缓存 控制 ，max- 
age=20 表 示 文 档 可 以 在 浏览 右 中 缓存 20 秒 。 


根据 规范 定义 Cache-Control 优 先 级 高 于 Expires。 实 际 使 用 时 可 以 两 个 都 
用 ， 或 仅 使 用 Cache-Control 束 可 以 了 【比如 季 东 的 活动 贝 

sale.jd.com) 。 一 般 情 况 下 Expires= 当 前 系统 时 间 (Date) + 绥 存 时 间 
PE (Cache-Control: max-age) 。 大 家 可 以 在 如 上 测试 代码 中 对 两 
者 进行 单独 测试 ， 绥 存 都 是 可 行 的 。 


2.F5 刷 新 
接 独 投 F5 键 刷新 当前 页 面 ， 将 看 到 浏览 右 发 送 如 下 请 求 头 。 


Y Request Headers view source 
Accept text/html,application/xhtml«xml,application/xml;q-8.9,1 
Accept-Encoding: gzip, deflate, sdch, br 
guage: zh-CN,zh;g-8.8 


Accept-Lan : 
Cache-Control: max-age=6 





Connection: keep-alive 
Host: localhost: 9888 


If-Modified-Since: Tue, 17 Jan 2817 89:26:27 GMT 
Upgrade-Insecure-Requests: 1 
User-Agent: Mozilla/5.8 (Windows NT 6.1; WOW64) AppleMWebKit/537 





此 处 发 送 时 有 一 个 If-Modified-Since 请 求 头 ， 其 值 是 上 次 请 求 啊 应 中 的 
Last-Modified, El yl zi Hx [BI EARS Rum Js uE VJ XXE T XA S 
AREA, Bex m n Ns i. 


"^ |TiCdUcT»| FICVICW Response NTMI 


Y General 
Request URL: http: //localhost:9888/cache 
Request Method: GET 





Remote Address: [::1]:9888 


¥ Response Headers view source 


Cache-Control: max-age=28 

Date: Tue, 17 Jan 2017 89:26:38 GMT 

Expires: Tue, 17 Jan 2017 89:26:58 GMT 
Last-Modified: Tue, 17 Jan 2017 89:26:27 GMT 





叮 应 状态 码 为 304， 表 示 服 务 卉 站 通知 浏览 锅 “ 你 缓存 的 内 容 没 有 变化 ， 
BR HHA A ARIE”. 


: 在 测试 时 ， 要 过 一 段 时 间 束 更 改 一 下 参数 millis， 以 表示 内 容 修 改 
了 要 不 然 会 一 直 看 到 304 啊 应 。 


3.Ctrl+F5 强 制 刷 新 
如 果 你 想 强 制 从 服务 器 端 获取 最 新 的 内 容 ， 则 可 以 按 *Ctrl+F5” 组 合 键 。 


——————————— 
Y Request Headers view source 
Accept text/html,application/xhtml+xml1, ap 
IE EE gzip, deflate, sdch, br 


Cache- Control: no-cache 





User-Agent: M0zilla/5.8 (Windows NT 6.1; Wl 





浏览 器 在 请 求 时 不 会 ti. L-If- Modified-Since, (H4 F.Cache-Control:no- 


cacheAHlPragma:no-cache, 172A [f Eb AUR ae pe He 3 Pec HE PA 
容 。 


4.from cache 


当 我 们 按 F5 键 刷新 、 投 “Ctrl+F5” 键 强制 刷新 、 在 地 址 栏 输入 地 址 刷新 
上 时， 都 会 去 服务 磊 剖 验证 内 容 是 否 发 生 了 变更 。 那 什么 情况 才 不 去 服务 
器 病 验 证 呢 ? 有 些 朋 友 还 会 友 现 有 一 些 “from cache” 的 问题 ， 这 是 什么 
情况 下 发 生 的 呢 ? 


答 有 宁都 是 ， 从 A 页 面 跳 转 到 A 页 面 或 者 从 A 页 面 跳 转 到 B 页 面 时 。 





ch + ih in] E ETES:: E 


© Developer Tools - http://localhost:9080/cache?millisz 1471349916709 
Le "n Elements Sources Network Timeline Profiles Application Security Audits Console 
© O NU y View = = Preserve log Disable cache Offline No throttling v 








Regex Hide data URLs A XHR JS CSS Img Media Font Wea WS Manifest 
Name Status * Size Time 
, e ier ype Initiator re sae Last- 
cache? millis=1471349916709 4ms 
<>| 20€ document Other from cache __ | Tue, 


大 家 可 以 自行 模拟 从 A 页 面 跳 转 到 A 页 面 。 此 时 ， 如 果 内 容 还 在 缓存 时 
HZA, WU ERM tae A AE mA A RA a OE o 


访问 页 面 http:Witem.jd.com/11056556.html， 然 后 点 击 面包 居中 的 HTTP 权 
威 指南 时 ， 会 跳 转 到 当前 页 面 ， 此 时 看 到 如 下 结果 ， 页 面 及 页 面 异步 加 
载 的 一 些 js、css、 图 厂 都 from cache f . 
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还 有 ， 如 通过 浏览 喜 历 史记 录 进 行 前 进 后 退 时 ， 也 会 走 ffom cache. AX 
文 是 基于 Chrome 52.0.2743.116 mik AJ ANTM EAS ITA 9] BEE TE 
RI 


o. Age 


一 般 用 于 缓存 代理 层 〈 如 CDN) 。 大 家 在 访问 系 东 一 些 页 面 时 ， 会 肥 现 
有 一 个 Age 响 应 头 ， 强 制 刷 新 〈Ctl+F5) 后 会 发 现 其 不 断 变化 。 这 表示 


此 内 容 在 绥 存 代理 层 从 创建 到 现在 生存 了 多 长 时 间 。 


Y Response Headers 
cache-control: public,max-age-6808 
Content-Encoding: gzip 
Content-Type: text/html;charset-utf-8 
Date: Mon, 22 Aug 2016 80:07:88 GMT 
Last-Modified: Sun, 21 Aug 2016 23:59:20 GMT 
Server: jdws 


Vary: Accept-Encoding, Accept-Encoding 
Via: BJ-Y-NX-183(HIT), http/1.1 BJ-UNI-1-23Cs-102 ( [cSsSfU1) 
X-Cache: EXPIRED from LF-CX-F 





6.Vary 


一 般 用 于 缓存 代 理 层 〈 如 CDN) ， 如 啊 应 头 列 表 ， 如 "Vary: Accept- 
Encoding". “Vary:User-Agent”， 主 要 用 于 通知 绥 存 服务 器 # 对 于 相同 URL 
有 看 不 同 厂 本 的 啊 应 ， 比 如 压缩 版 本 和 非 压缩 版 本 。 绥 人 存 服务 硕 应 该 根 
据 Vary 头 来 缓存 不 同 厂 本 的 内 容 ， 如 指定 啊 应 头 为 "Vary:Accept- 
Encoding”， 则 缓存 代理 层 需 要 根据 “Acceptr-Encoding” 请 求 头 来 判断 不 同 
版 本 缓存 内 容 ， 如 “Accept-Encoding:gzip” 请 求 头 版 本 、 无 Accept- 
Encoding iti KARE. 


Y Response Headers view source 
Age: 8 
Connection: keep-alive 
Content-Type: text/html; charset-gbk 
Date: Sun, 18 Dec 2016 18:46:48 GMT 
hh: 1 
ser: 3.88 
Server: jdws 
Transfer-Encoding: chunked 





Vary: Accept-Encoding 


Via: BJ-H-NX-189(MISS), http/1.1 BJ-CT-2-JCS-32 ( [cMsSf ]) 


Y Request Headers view source 
Accept text/html,application/xhtml-xml,application/xml;q-0.9,image/webp,*/*;q-8.8 


Accept-Encoding: gzip, deflate, sdch 





Accept-Language: zh-CN, zh;q-8.8 
Cache-Control: max-age=@ 


Connection: keep-alive 





7.Via 


一 般 用 于 代理 层 (如 CDN) ， 表 示 访 问 到 最 终 PAF A J 经 过 了 哪些 代理 
层 ， 用 的 什么 协议 ， 代 理 层 是 否 绥 存 命中 等 。 通 过 它 可 以 进行 一 些 故 隐 





Y Response Headers view source 

Age: 8 

Connection: keep-alive 
Content-Encoding: gzip 

Content-Type: text/html; charset-gbk 
Date: Sun, 18 Dec 2816 18:46:48 GMT 
hh: 1 

ser. 3.88 

Server: jdws 

Transfer-Encoding: chunked 

Vary: Accept-Encoding 
Via: BJ-H-NX-189(MISS), http/1.1 BJ-CT-2-JC5-32 ( [cMsSf ]) 





10.2.2 ETag 


@RequestMapping ("/cache/etag") 

public ResponseEntity«String» cache( 
// 浏 览 器 验证 文档 内 容 的 实体 If-None-Match 
@RequestHeader (value = "If-None-Match", required = false) 
String ifNoneMatch) { 


// 当 前 系统 时 间 
long now - System.currentTimeMillis(); 


/ / X án] PACE ia As ig proxy LRFBA 
long maxAge - 10; 


String body = "<a hrefz' '> 点 击 访问 当前 链接 </a>"; 


// SS 
String etag = "W/\"" + md5(body) + "\""; 


if (StringUtils.equals(ifNoneMatch, etag)) { 
return new ResponseEntity«String» (HttpStatus.NOT MODIFIED); 
} 


DateFormat gmtDateFormat = 
new SimpleDateFormat ("EEE, d MMM yyy HH:mm:ss 'GMT'", Loale.US); 
MultiValueMap<String, String> headers = new HttpHeaders(); 


//ETag http 1.1 Xf 

headers.add("ETag", etag); 

// 当 前 系统 时 间 

headers.add("Date", gmtDateFormat.format (new Date(now))); 

/ /文档 生存 时 间 http 1.1 支持 

headers.add("Cache-Control", "max-age=" + maxAge); 

return new ResponseEntity<String> (body, headers, HttpStatus.OK); 


FEA, ETag He T AGAS BARS as ET VI EAE EEA, M Catch- 
Controlzé H T d: 22 EEN [RI Giu vds. TES). Ah BEA T 
弱 实 体 WV343sda”， 弱 实体 C'343sda") 只 要 内 容 语义 没 变 即 可 。 比 
如 ， 内 容 的 gzip 版 和 非 gzip 版 可 以 使 用 弱 实 体验 证 ; 而 强 实体 指 字 节 必 
须 完 全 一 致 〈《gzip 和 非 gzip 情 况 是 不 一 样 的 ) Al, EN A Fee PEE 
用 弱 实 体 。Nginx 在 生成 Etag 时 使 用 的 算法 是 Last-Modified + Content- 
Length 。 


ngx sprintf (etag->value.data, X" $xT-$x0V"", 
r-»hesders outlast modified Lime, 
r-»headers out.content length n) 


到 此 简单 的 基于 文档 修改 时 间 和 过 期 时 间 的 缓存 控制 就 介绍 完了 。 在 内 
容 型 啊 应 中 ， 我 们 大 多 数 根据 内 容 的 修改 时 间 来 进行 缓存 控制 ，ETag 根 
据 实际 需求 而 定 〈 比 如 图 片 JS/CSS 就 非常 适合 ETag， 而 如 商品 详情 页 

使 用 商品 修改 时 间 ，Last-Modified 处 理 更 简单 一 些 ) 。 另 外 ， 还 可 以 使 
用 html Meta 标 签 控 制 浏览 器 缓存 ， 但 是 ， 对 代理 层 绥 存 无 效 ， 因 此 不 建 


议 使 用 。 
10.2.3 ”总结 


Ae A Yi 


1.1. 请 求 
1.2 200+Last-Modified 


2.1.If-Modified-Since 
2.2 304 





LARS za ig le] BJ Last-Modifiedz Æ PIR OKIY, JfIf-Modified-Sinceisj 
EK Tis BURA i ETT OCA se AME LA d ub, 如 果 没 有 修改 则 返回 
304， 浏 览 器 可 以 直接 使 用 绥 存 内 容 。 


2.Cache-Control:max-age H Expires} SiR XE Dl vi, asin ABRES A, BD 
多 和 久 过 期 ， 过 期 后 则 删除 缓存 重 新 从 服务 右 端 获取 最 新 的 。 另 外 ， 可 以 
H T from cache 场景 。 


3.HTTP/1.1 规 范 定义 的 Cache-Control 优 先 级 高 于 HTTP/1.0 规 范 定义 的 
Expires. 


4. 一 般 情 况 下 Expires= 当 前 系统 时 间 + 绥 存 时 间 CCache-Control:max- 
age) 。 


5.HTTP/1.1 规 范 定义 ETag 为 "被 请 求 变量 的 实体 值 ， 可 简单 理解 为 文档 
内 容 摘 要 ，ETag 可 用 来 判断 页 面 内 容 古 否 已 经 被 修改 过 了 。 


Last-Modified 与 ETag 同 时 使 用 时 ， 浏 览 喜 在 验证 时 会 同时 友 送 于 
Modified-Since 和 If-None-Match。 按 照 HTTP/1.1 规 范 ， 如 果 同 时 使 用 If- 
Modified-Since 和 If-None-Match， 则 服务 右 问 必须 两 个 都 验证 通过 后 才 
能 返回 304，Nginx 束 是 这 样 做 的 。 因 此 ， 实 际 使 用 时 应 访 根 据 实 际 情 况 
选择 。If-Match 和 If-Unmodified-Since 不 作 介 绍 。 


10.3 HttpClient*% /" "m2 £f 


HttpClient 4.3 版 本 开始 提供 HTTP/1.1 兼 容 的 客户 端 缓存 (HITTP/1.0 组 存 
没有 实现 ) ， 可 以 把 访 层 看 成 浏览 硕 绥 存 。HttpClient 通 过 职 贡 链 模式 
来 文 持 可 插 氢 的 组 件 结构 ， 客 户 痪 缓存 耽 是 通过 该 模式 实现 的 。 有 了 此 
实现 ， 直 接 开 箱 即 用 ， 不 需要 额外 写 代 码 来 实现 缓存。 


在 使 用 HttpClient 各 户 妆 缓存 时 ， 需 要 引入 如 下 依赖 。 


«dependency» 
«groupId»org.apache.httpcomponents«/groupId» 
<artifactId>httpclient-cache</artifactId> 
<version>4.5.2</version> 

</dependency> 


本 文 使 用 HttpClient 4.5.2 版 本 。 在 使 用 时 ， 要 通过 如 下 配置 创建 HttpClient。 


CacheConfig cacheConfig = CacheConfig.custom() 
.setMaxCacheEntries(1000) // 最 多 缓存 1000 个 条 目 
.SetMaxObjectSize(1 * 1024 * 1024) // 缓 存 对 象 最 大 为 1MB 
.SetAsynchronousWorkersCore(5) // 异 步 更 新 缓存 线程 池 最 小 空闲 线程 数 
.SetAsynchronousWorkersMax (10) // 异 步 更 新 绥 存 线程 池 最 大 线程 数 
.SetRevalidationQueueSize(10000) // 异 步 更 新 线程 池 队 列 大 小 
bulld) 

/ LATER 

HttpCacheStorage cacheStorage -new BasicHttpCacheStorage (cacheConfig); 

// 创 建 HttpClient 

httpClient = CachingHttpClients.custom() 

.setCacheConfig(cacheConfig) // 绥 存 配置 

.setHttpCacheStorage(cacheStorage) // 缓 仔 存 储 

.SetSchedulingStrategy (new ImmediateSchedulingStrategy 
(cacheConfig)) // 验 证 绥 存 时 ， 缓 存 调度 策略 

.SetConnectionManager (manager) 

.build(); 


如 上 配置 省 略 了 一 些 无 关 配 置 ，CachingHttpClients 用 于 创建 带 客 户 端 组 
存 的 HttpClient， 其 他 配置 请 参考 HttpClient 连 接 池 配 置 章节 。 


CacheConfig 主 要 进行 如 下 几 个 方面 的 配置 。 


-maxCacheEntries: 缓存 条 目 数 量 ， 当 绥 存 的 数量 超 了 会 进行 清除 。 


”maxObjectSize: ”每 个 绥 存 对 象 的 好 大 大 小 ， 超 过 设 大 小 的 内 容 将 个 
会 被 缓存 ， 主 要 目的 是 防止 出 现 缓存 过 大 的 内 容 。 


asynchronousWorkersCore/asynchronousW orkersMax/revalidationQuet 


异步 更 新 绥 存 内 容 线 程 池 相关 配置 。 


此 外 ，HttpCacheStorage 用 于 指定 HITP 啊 应 内 容 使 用 什么 存储 喜来 存 
f> BasicHttpCacheStoragez€zn NTE VJ FE Hi fff. Cfi H] LinkedHashMap 
SKI f igi ERLRUSZIA) 。 默 认 还 提供 了 Ehcache 和 Memcached 存 储 实 
现 。 其 BasicHttpCacheStorage 没 有 基于 时 间 的 过 期 策略 ， 建 议 实际 使 用 
时 根据 需要 选择 如 Ehcache 或 者 目 己 扩 展 一 个 实现 《〈 比 如， 扩展 后 文 持 
多 级 缓存 : YEA AE = ASHE = oT) 。 


SchedulingStrategy H T Bic Ei 2 ££ T 2 EBT ae LE NY 8 H3 Jane 2 Vil E SS 
略 ， 上 默认 使 用 ImmediateSchedulingStrategy， 将 使 用 我 们 配置 的 线程 池 参 
数 创建 线程 池 ， 然 后 异步 进行 重新 验证 请 求 。 


接 下 来 我 们 看 看 使 用 代码 怎么 实现 。 


HttpGet get = new HttpGet ("http://sale.jd.com/act/qXdphQWLoFS.html? 
spm=1.1.0"); 

get.addHeader ("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36") ; 

HttpCacheContext context = HttpCacheContext.create(); 

CloseableHttpResponse response =getHttpClient().execute(get, context); 

// 绥 存 状态 

CacheResponseStatus cacheResponseStatus = contex. getCacheResponseStatus () ; 


绥 存 状态 有 HIT 〈 啊 应 命中 ， 返 回 缓存 的 啊 应 内 容 ， 不 会 发 送 请 求 到 上 
HIRIA ~ MISS (ZER RMF, MORE EPIRI) ~ 
VALIDATED (2247-4 tet d 2 BE TB EVRA RME, HIE a E 
绥 存 中 的 响应 ) ~ MODULE RESPONSE (缓存 直接 生成 的 响应 ， 比 
如 ， 请 求 头 “Cache-Control: only-if-cached” 表 示 只 使 用 缓存 内 容 ， 但 是 如 
绥 存 没有 ， 则 生成 一 个 504 响 应 ， 此 时 缓存 状态 为 

MODULE RESPONSE) . 


当 我 们 多 次 调用 如 上 代码 后 会 发 现 ， 第 一 次 访问 时 会 是 MISS， 第 二 次 


则 会 是 HIT。 当 然 ， 前 提 是 上 游 服 务 右 设置 了 缓存 啊 应 头 。 
HttpClient 请 求法 程 如 下 。 


1. 检 查 HTTP 请 求 是 否 符合 HTTP/1.1 规 范 ， 如 果 不 符合 ， 则 会 进行 修正 
(比如 ， 请 求 头 Cache-Control 同 时 配置 了 max-age 和 no-cache ) 。 


2. 清 除 蒋 请 求 中 的 无 效 请 求 头 。 


3. 检 查 该 请 求 是 否 可 以 使 用 缓存 内 容 ， 如 果 不 能 则 发 送 请 求 到 上 游 服务 
器 获取 新 的 内 容 。 


4. 如 采访 请 求 可 以 使 用 绥 存 内 容 作 为 啊 应 ， 则 答 试 谈 取 缓存 中 的 BAF 内 
容 。 如 果 谈 取 失 败 ， 则 同样 发 送 请 求 到 上 游 服 务 器 获取 最 新 的 内 容 。 
5. 如 果 缓 存 的 啊 应 内 容 可 以 使 用 ， 则 会 构建 一 个 包含 ByteArrayEntity 的 
BasicHttpResonse 对 象 。 人 否则 ， 人 会同 上游 服 务 需 发 出 重新 验证 绥 存 内 容 
的 请 求 。 


6. 如 果 绥 和 存 的 啊 应 内 容 同 上 游 服 务 冲 验证 失败 ， 那 么 会 午 新 问 上 游 服务 
独 及 出 一 次 不 含 绥 存 头 的 请 求 来 获取 最 新 的 内 容 。 


HttpClient 啊 应 流程 如 下 。 


1. 检 查收 到 的 响应 是 否 兼容 HTTP/1.1， 如 果 不 兼容 ， 则 会 让 其 符合 规 


2. 检 可 响应 是 否 可 以 缓存 ， 如 果 可 以 ， 则 会 从 响应 中 该 取 内 容 体 ， 并 细 
TEW. 


nnn! 超出 了 配置 的 大 小 ， 则 直接 人 返回 啊 应 不 进行 绥 
子 。 


10.3.1 主流 程 


HttpClient 使 用 了 职 贡 链 模 式 实现， 使 用 CachingExec 组 件 进行 缓存 相关 
操作 ， 流 程 代码 如 下 。 


/ /使 请 求 付 合 规 沁 
requestCompliance.makeRequestCompliant (request); 
// Via 头 ， 请 求 每 经 过 一 层 代 理 将 会 添加 代理 服务 器 标识 ， 
// 通 过 该 头 就 知道 经 过 了 多 少 代 理 服务 器 
request.addHeader ("Via",via); 
// 清 除 无 效 的 缓存 内 容 
flushEntriesInvalidatedByRequest(context.getTargetHost(), request); 
/ AR TAB AS HEEB, WWE BEV el EUER AS ds 
if (!cacheableRequestPolicy.isServableFromCache(request)) { 
log.debug("Request is not servable from cache"); 
return callBackend(route, request, context, execAware); 
} 
// 从 绥 存 获取 内 容 
final HttpCacheEntry entry = satisfyFromCache(target, request); 
if (entry == null) {// 如 果 没 有 命中 ， 则 调用 handleCcacheMiss 
return handleCacheMiss(route, request, context, execAware); 
} else {// 如 果 命 中 了 ， 则 调用 handleCacheHit 
return handleCacheHit(route, request, context, execAware, entry); 


10.3.2 ”清除 无 效 缓存 


接 下 来 ， 让 我 们 先 看 一 下 flushEntriesInvalidatedByRequests 是 怎么 实现 
的 ， 其 会 调用 HttpCacheInvalidator# ”flushInvalidatedCacheEntries 进 行 清 
除 当 前 请 求 相 天 的 无 效 缓存 : 


// 生 成 缓存 key 
final String theUri = cacheKeyGenerator.getURI (host, req); 
final HttpCacheEntry parent = getEntry (theUri);//3ABUAATH]V AE 
// 如 果 请 求 方 法 不 是 “GET” 或 “HEAD2”， 或 者 当前 请 求 是 “GET” 但 是 ， 
/ /级 存 中 的 请 求 方法 是 “HEAD” 
/ /那么 将 需要 清除 无 效 缓存 
if (requestShouldNotBeCached (req) 
|| shouldInvalidateHeadCacheEntry(req, parent)) { 
if (parent != null) { 
// 失 效 当前 请 求 的 不 同 版 本 (URL FAIA], Vary 啊 应 头 不 同 ) 
for (final String variantURI : parentgetVariantMap().values()) { 
flushEntry (variantURI); 
} 
/ /失效 当 前 请 求 
flushEntry (theUri); 
} 
final URL reqURL = getAbsoluteURL (theUri); 
// 如 果 Authority 部 分 一 样 ， 则 失效 “Content-Location” 指 定 URL 的 缓存 
final Header clHdr = req.getFirstHeader ("Content-Location"); 
if (clHdr != null) { 
final String contentLocation = clHdr.getValue(); 
if (!flushAbsoluteUriFromSameHost(reqURL, contentLocation)) { 
flushRelativeUriFromSameHost (reqURL, contentLocation); 


| 
final Header lHdr = req.getFirstHeader ("Location"); 


if (lHdr !- null) {// 失 效 “Location” 指 定 URI 的 缓存 
flushAbsoluteUriFromSameHost(reqURL, lHdr.getValue()); 


此 处 使 用 CacheKeyGenerator 生 成 缓存 key，key 格 式 为 protocol 
hostname+ port + path + "?" + query. 


10.3.3 RAG 


接 下 来 我 们 看 一 下 CacheableRequestPolicy ZisServableFromCache7; 7, 
其 用 于 判断 当前 是 合 可 以 使 用 缓存 。 


public boolean isServableFromCache (final HttpRequest request) { 
final String method = request.getRequestLine().getMethod(); 
final ProtocolVersion pv - 


request.getRequestLine(). getProtocolVersion(); 
// 如 果 请 求 不 是 HITP/1.1， 则 不 能 走 缓存 
if (HttpVersion.HTTP 1 l.compareToVersion(pv) != 0) { 


return false; 
} 
/ /如 果 请 求 方法 不 是 “GET” 或 者 “HEAD” 方 法 ， 不 能 走 绥 存 
if (! (method.equals (HeaderConstants.GET METHOD) || method 
.equals (HeaderConstants.HEAD METHOD))) { 
return false; 
} 
// 如 果 请 求 头 有 “Pragma”， 则 不 能 走 缓存 
if (request.getHeaders (HeaderConstants.PRAGMA) .length > 0) { 
return false; 
} 
// 如 果 请 求 凑 “Cache-Control” 为 “no-store” 或 者 “no-cache”， 则 不 能 走 缓存 
final Header[] cacheControlHeaders = 
request.getHeaders (HeaderConstants.CACHE CONTROL); 
for (final Header cacheControl : cacheControlHeaders) { 
for (final HeaderElement cacheControlElement : 
cacheControl.getElements()) { 
if ("no-store" 
.equalsIgnoreCase (cacheControlElement.getName())) { 
return false; 
} 
if ("no-cache" 
.equalsIgnoreCase (cacheControlElement.getName())) { 
return false; 


} 


return true; 


此 处 从 十 请 求 不 能 使 用 绥 存 ， 并 个 会 影响 请 求 啊 应 的 缓存 。 男 外 ， 
HttpClient 目 前 只 对 HTTP/1.1 提 供 客 户 端 缓存 支持 。 


satisfyFromCache 方 法 委托 BasicHttpCache#getCacheEntry 方 法 从 绥 存 中 
KARTAR. 


// 首 先 根据 URL RAE key 获取 缓存 内 容 
final HttpCacheEntry root = storage.getEntry (uriExtractor.getURI (host, 


request)); 
if (root == null) {// 如 果 没 有 绥 存 ， 则 直接 返回 


return null; 


} 
if (!root.hasVariants()) {// 如 果 缓 存 不 存在 ， 则 是 Vary 版 本 的 变 体 


return root; 


| 
// 获 取 Vary 版 本 的 URL 缓存 key 


final String variantCacheKey = root.getVariantMap().get (uriExtractor. 


getVariantKey(request, root)); 
if (variantCacheKey == null) { 
return null; 


} 
/ /获取 并 使 用 Vary 版 本 的 URL RF 


return storage.getEntry (variantCacheKey); 


之 前 部 分 已 经 解释 了 Vary， 此 处 也 得 到 了 验证 。 


10.3.4 ZTAK mM HP 


如 果 客 户 闹 绥 存 没有 命中 ， 则 调用 handleCacheMiss 方 法 执行 未 命中 远 
AR, 


// 如 果 有 请 求 头 “cache-Control: only-if-cached", 则 表示 请 求 只 从 缓存 中 获取 ， 
// 未 命中 情况 返回 504 状态 码 
if (!mayCallBackend(request)) { 
return Proxies.enhanceResponse ( 
new BasicHttpResponse ( 
Httpversion,HTTP l 1, 
HttpStatus.SC GATEWAY TIMEOUT, 
"Gateway Timeout") ) ; 
} 
/ /获取 市 Etag 版 本 的 Vary 版 本 URL, WRA, 则 调用 negotiateResponseFromVariants 
final Map<String, Variant> variants = getExistingCacheVariants (target, 
request); 
if (variants != null && !variants.isEmpty()) { 
return negotiateResponseFromVariants(route, request, context, 
execAware, variants); 
} 
// 人 否则 调用 callBackend 回 源 到 上 游 服 务 器 


return callBackend(route, request, context, execAware); 


10.3.5 ”缓存 命中 


接 下 来 ， 我 们 先 看 一 下 客户 问 缕 和 存 命中 后 调用 handleCacheHit 方 法 执行 
的 命中 逻辑 。 


// 用 于 判断 绥 存 的 啊 应 契合 可 以 有 二 接 人 返回 给 客 厂 
if (suitabilityChecker.canCachedResponseBeUsed(target, request, entry, 


now)) ( 
// 命 中 后 生成 缓存 响应 
out = generateCachedResponse(request, context, entry, now); 
/ /缓存 不 新 鲜 需 要 验证 ， 如 果 请 求 涛 有 “Cache-Control: only-if-cached”, 
/ / 则 表示 强制 从 组 存 中 获取 ， 因 此 返回 504 TL 
) else if (!mayCallBackend(request)) { 
out = generateGatewayTimeout (context); 
// 组 存 不 新 鲜 需 要 验证 ， 如 果 缓 存 啊 应 的 状态 码 不 是 304， 
// 或 者 条 件 请 求 有 请 求 凑 “"If-None-Match” 或 “If-Modified-Since”， 
// 则 需要 请 求 上 游 服 务 器 进行 重新 验证 
} else if (!(entry.getStatusCode() == HttpStatus.SC NOT MODIFIED 
&& !suitabilityChecker.isConditional(request))) | 
return revalidateCacheEntry(route, request, context, execAware, entry, 
now); 
} else { 
// 其 他 情况 ， 直 接 回 源 上 游 服务 器 获取 最 新 内 容 


return callBackend(route, request, context, execAware); 


2G, #CachedResponseSuitabilityChecker#canCachedResponseBeUsed 
方法 ， 其 用 于 判断 是 否 可 以 使 用 缓存 的 内 容 作 为 响应 。 


// 如 末 绥 人 存 的 内 容 不 生 新 鲜 的 ， 则 不 能 使 用 缓存 
if (!isFreshEnough(entry, request, now)) { 
return false; 
} 
//W Riek Tee “GET” HAE PNM “Content-Length” 
/ /与 缓存 Body 体 实际 长 度 不 一 样 ， 则 可 能 内 容 不 完整 ， 不 能 使 用 缓存 
if (isGet(request) 
&& !validityStrategy 
.contentLengthHeaderMatchesActualLength(entry)) { 
return false; 
} 
// 如 果 请 求 头 有 If-Range. If-Match. If-Unmodified-Since, 
// 则 HttpClient 不 文 持 ， 不 能 使 用 缓存 
if (hasUnsupportedConditionalHeaders(request)) { 
return false; 
} 
// 如 林 缓 存 啊 应 状态 码 为 304， 但 不 是 条 件 请 求 
// (没有 请 求 头 If-None-Match/ If-Modifiedq-Since)， 则 不 能 使 用 缓存 
if (!isConditional (request) 
&& entry.getStatusCode() -- HttpStatus. SC NOT MODIFIED) 
return false; 


/ /如 果 是 条 件 请 求 (请 求 时 ， 业 务 代码 目 己 设置 了 If-None-Match/ If-Modified-Since, 
// 不 建议 这 样 ， 除 非 有 具体 理由 ), 但 是 条 件 请 求 与 缓存 中 的 啊 应 头 (Etag/Last-Modified) 
/ /不 匹配 (如果 两 个 都 存在 ， 则 两 个 要 都 匹配 才 可 以 )， 则 不 能 使 用 缓存 
if (isConditional (request) 
&& lallConditionalsMatch(request, entry, now)) | 
return false; 
} 
// 如 果 缓 存 内 容 的 请 求 方法 或 内 容 体 为 空 ， 或 者 是 一 个 204 啊 应 ， 则 不 能 使 用 缓存 
if (hasUnsupportedCacheEntryForGet (request, entry)) ( 
return false; 
) 
for (final Header ccHdr : 
request.getHeaders (HeaderConstants. CACHE CONTROL)) { 
for (final HeaderElement elt : ccHdr.getElements()) { 
// 如 果 请 求 头 有 “Cache-Control:no=-cache”， 则 不 能 使 用 缓存 ， 需 要 回 源 验 证 
if (HeaderConstants.CACHE CONTROL NO CACHE 
.equals(elt.getName())) (| 
return false; 
} 
// 如 果 请 求 头 有 “cache-Control:no-store”， 则 不 能 使 用 缓存 
if (HeaderConstants.CACHE CONTROL NO STORE 
.equals(elt.getName())) { 
return false; 
} 
/ /如果 请 求 尖 有 “Cache-Control:max-age=time”， 晶 当前 Age > max-age, 
// 则 不 能 使 用 缓存 
if (HeaderConstants.CACHE CONTROL MAX AGE 
.equals(elt.getName())) ( 
final int maxage = Integer.parseInt(elt.getValue()); 
if (validityStrategy.getCurrentAgeSecs(entry, now) > maxage) { 
return false; 


} 
//bOo RIG RKA “cache-Control:max-stale=time”, 
// 且 保鲜 时 间 > max-stale〔 最 大 陈旧 时 间 )， 这 说 明 内 容 陈 上 昌 了 
//〈 最 大 陈旧 时 间 要 比 保鲜 时 间 更 长 才 对 )， 则 不 能 使 用 缓存 
if (HeaderConstants.CACHE CONTROL MAX STALE 
.equals(elt.getName())) { 
final int maxstale = Integer.parseInt(elt.getValue()); 
if (validityStrategy.getFreshnessLifetimeSecs (entry) 
> maxstale) { 
return false; 


/ / WREKSA “Cache-Control:min-fresh=time”, 
// 且 《保鲜 期 -当前 Age) < min-fresh (最 小 保鲜 时 间 )， 
// 这 说 明 内 容 不 新 鲜 ， 则 不 能 使 用 缓存 
if (HeaderConstants.CACHE CONTROL MIN FRESH 
.equals(elt.getName())) { 
final long minfresh = Long.parseLong(elt.getValue()); 
ir (mintresh < UL) 4 
return false; 
} 
final long age = 
validityStrategy.getCurrentAgeSecs (entry, now); 
final long freshness - 
validityStrategy.getFreshnessLifetimeSecs (entry); 
if (freshness - age < minfresh) { 
return false; 


} 


} 
} 


return true; 
:请求 时 间 : 表示 HttpClient 创 建 请 求 的 时 间 。 
- 响应 时 间 : ”表示 HttpClient 接 收 到 响应 的 时 间 。 
TY Date: ”表示 上 游 服 务 霹 创建 内 容 的 时 间 ， 跟 随 啊 应 返回 给 客户 


ye 


”接收 时 Age: “如 未 有 代理 缓存 服务 项 ， 则 啊 应 头 会 有 Age， 表 示 内 容 
在 绥 存 服务 璐 已 经 存在 了 多 久 。 还 可 以 通过 《〈 啊 应 时 间 - 吗 应 头 Date ) 
来 计算 初始 时 间 ， 这 两 个 时 间 取 最 大 的 一 个 。 


:当前 Age: 内容 的 当前 生存 期 ， 即 内 容 已 经 存在 多 人 了 ， 等 于 “接收 时 
Age”+“ 啊 应 延迟 >( 啊 应 时 间 - 请 求 时 间 〉 +“ 当 前 系统 时 间 - 啊 应 时 间 ”。 


保鲜 时 间 : 即 内 容 允 许 缓存 的 最 大 时 间 ， 为 “Cache-Control:max- 


age". “Cache-Control:Ss-maxage” 或 “Expires-Date”。 


下 面 是 iFreshEnough 方 法 的 实现 。 


/ UR AH Age«TK SEI [RH], ez Aer E EE EJ 
if (getCurrentAgeSecs(entry, now) < getFreshnessLifetimeSecs(entry)) { 
return true; 
} 
/ /如果 使 用 启发 式 缓存 (默认 没 开启 )， 且 判断 是 新 鲜 的 ， 则 返回 缓存 内 容 给 客户 
if (useHeuristicCaching && 
validityStrategy.isResponseHeuristicallyFresh( 
entry, now,heuristicCoefficient, heuristicDefaultLifetime)) { 


return true; 
} 
/ /如果 缓存 啊 应 有 啊 应 头 “Cache-Control:must-revalidate”, 则 内 容 需 要 重新 验证 ， 
// 即 不 新 鲜 
if (validityStrategy.mustRevalidate(entry)) { 
return false; 
} 
/ /如 果 开 局 共享 缓存 (只 缓存 public W, private PÈT) 
/ /如 果 缓 存 啊 应 有 啊 应 小“Cache-Control: proxyrevalidate” 或 者 “Cache-Control: 
//s-maxage”， 则 认为 内 容 不 新 鲜 
if (sharedCache) { 
if(validityStrategy.proxyRevalidate(entry) || 
validityStrategy.hasCacheControlDirective(entry, "s-maxage")) { 
return false; 
} 
} 
/ /当前 Age- 保 鲜 时 间 为 内 容 已 陈旧 时 间 ， 即 不 新 鲜 多 久 了 
// 如 果 请 求 中 的 最 大 陈旧 时 间 > 己 陈 旧时 间 ， 则 说 明 允 许 返 回 陈旧 不 新 鲜 的 内 容 
final long maxstale = getMaxStale (request); 
if (maxstale == -1) (//maxstale 等 于 -1 表示 没有 设置 陈旧 时 间 ， 认 为 内 容 陈旧 不 新 鲜 了 
return false; 
} 
long stalenessSecs = OL; 
final long age = getCurrentAgeSecs(entry, now); 
final long freshness = getFreshnessLifetimeSecs (entry); 
if (age <= freshness) { 


stalenessSecs = OL; 
} else { 
stalenessSecs = (age - freshness); 


} 


return (maxstale > stalenessSecs); 


10.3.6” 绥 人 存 内 容 陈 旧 需 重新 验证 


接 来 下 ， 看 一 下 CachingExec#revalidateCacheEntry 实 现 。 


/ /如 果 创 建 了 异步 验证 右 〈( 当 配置 『 asynchronousWorkersMax>0 时 会 创建 ) 
// 如 果 人 允许 陈旧 的 啊 应 ， 且 前 往 上 游 服务 器 验证 时 允许 返回 陈旧 的 啊 应 ， 则 使 用 异步 后 人 台 验 证 
if (asynchRevalidator !- null 
&& !staleResponseNotAllowed(request, entry, now) 
&& validityPolicy.mayReturnStaleWhileRevalidating(entry, now)) { 
final CloseableHttpResponse resp - 
generateCachedResponse(request, context, entry, now); 
asynchRevalidator.revalidateCacheEntry( 


this, route, request, context, execAware, entry); 
return resp; 


j 
// 含 则 ， 同 步 验 证 


return revalidateCacheEntry(route, request, context, execAware, entry); 


CachingExec#staleResponseNotAllowed 表 示 哪 些 情 况 必 须 前 往 上 游 服务 
侣 验证 ， 丰 能 返回 陈旧 的 内 容 。 


. n ER ZEHN mw 3L *Cache-Control:must-revalidate ”。 
- WER SIRS, AREA Mel Mle MLR*"Cache-Control: proxy- 


revalidate ". 


- Bex, QRZ AYN DA WW3*Cache-Control:max-stale ”， 当 内 容 陈 
上 日 时 (当前 Age- 保 鲜 期 )> 最 大 陈旧 时 间 。 


- 如果 有 “Cache-Control:min-fresh” 或 者 “Cache-Control:max-age” 时 (IT 
到 此 处 说 明 内 容 已 经 不 新 鲜 了 ， 不 满足 新 鲜 条 件 ) 。 


CacheValidityPolicy#mayReturnStaleWhileRevalidating 实 现 。 





如 果 绥 存 啊 应 的 啊 应 头 有 “Cache-Control: stale-while-revalidate=time 
>， 此 time 指 定 在 验证 期 间 允 许 返 回 陈旧 的 啊 应 〈 即 可 以 异步 后 人 台 验 
WE) ， 且 已 陈旧 时 间 <=time， 则 可 以 异步 验证 ， 并 返回 陈旧 的 内 容 。 


接 下 来 ， 看 一 下 CachingExec#revalidateCacheEntry 如 何 进 行 验证 (省 略 


了 一 些 非 关 键 代 码 ) 。 
// 构 建 条 件 请 求 


final HttpRequestWrapper conditionalRequest -conditionalRequestBuilder. 
buildConditionalRequest(request, cacheEntry); 


// 请 求 时 间 
Date requestDate = getCurrentDate(); 
/ /执行 条 件 请 求 
CloseableHttpResponse backendResponse = 

backend.execute ( 

route, conditionalRequest, context, execAware); 

// 啊 应 时 间 
Date responseDate = getCurrentDate(); 


// 如 果 啊 应 太 旧 《 啊 应 时 间 早 于 缓存 的 啊 应 头 Date 时 间 )， 则 重新 发 出 一 次 非 条 件 查 询 重 新 获取 
if (revalidationResponseIsTooOld(backendResponse, cacheEntry)) { 
backendResponse.close(); 


final HttpRequestWrapper unconditional = conditionalRequestBuilder 
.buildUnconditionalRequest (request, cacheEntry); 
requestDate - getCurrentDate(); 
backendResponse - 
backend.execute(route, unconditional, context, execAware); 


responseDate = getCurrentDate(); 


final int statusCode = backendResponse.getStatusLine().getStatusCode(); 
if (statusCode == HttpStatus.SC NOT MODIFIED 
|| statusCode == HttpStatus.SC OK) | 
/ /缓存 状态 为 VALIDATED 
setResponseStatus(context, CacheResponseStatus. VALIDATED) ; 


if (statusCode == HttpStatus.SC_NOT MODIFIED) i 
// 如 果 响 应 返回 304， 则 说 明 内 容 没 有 变化 
final HttpCacheEntry updatedEntry = responseCache.updateCacheEntry( 
context.getTargetHost(), request, cacheEntry, 
backendResponse, requestDate, responseDate); 
// 如 果 当 前 请 求 是 条 件 查询 ， 且 “Etag/Last-Modified” 都 匹配 ， 则 生成 304 啊 应 
if (suitabilityChecker.isConditional(request) 
&& suitabilityChecker.allConditionalsMatch( 
request, updatedEntry,new Date())) { 
return responseGenerator 
.generateNotModifiedResponse (updatedEntry) ; 
} 
/ / AE SR We I 
return responseGenerator.generateResponse(request, updatedEntry); 


} 


/ / SSS Je e I, EE E RENT 
return handleBackendResponse(conditionalRequest, context, requestDate, 
responseDate, backendResponse) ; 


ConditionalRequestBuilder#buildConditionalRequest 用 于 构建 条 件 请 求 。 

// 复 制 请 求 

final HttpRequestWrapper newRequest = 
HttpRequestWrapper.wrap(request. getOriginal()); 

// 复 制 请 求 头 

newRequest.setHeaders(request.getAllHeaders()); 

// URE MA Etag， 则 将 Etag 设置 到 请 求 头 If-None-Match 

final Header eTag = cacheEntry.getFirstHeader (HeaderConstants.ETAG) ; 

if (eTag != null) | 


newRequest.setHeader( 
HeaderConstants.IF NONE MATCH, eTag.getValue()); 


} 
/ /如 果 绥 存 啊 应 中 有 Last-Modified, 
// 则 将 Last-Modified 设置 到 请 求 头 If-Modified-Since 
final Header lastModified = 
cacheEntry.getFirstHeader (HeaderConstants.LAST MODIFIED); 
if (lastModified !- null) i 


newRequest.setHeader( 
HeaderConstants.IF MODIFIED SINCE, lastModified.getValue()); 


} 
boolean mustRevalidate = false; 


for (final Header h : 
cacheEntry.getHeaders (HeaderConstants.CACHE CONTROL)) { 


for(final HeaderElement elt : h.getElements()) { 
if (HeaderConstants.CACHE CONTROL MUST REVALIDATE 
. equalsIgnoreCase (elt.getName()) 


|| HeaderConstants.CACHE CONTROL PROXY REVALIDATE 

. equalsIgnoreCase(elt.getName())) { 
mustRevalidate = true; 
break; 


} 
/ an Ris ill UE KAFA oa a FZ ] F5 BED, MN WC a kL“ Cache-Control:max-age=0” 


if (mustRevalidate) { 


newRequest.addHeader ( 
HeaderConstants.CACHE CONTROL, 
HeaderConstants.CACHE CONTROL MAX AGE + "=0"); 


} 


return newRequest; 


10.3.7 ”缓存 内 容 无 效 需 重 新 执行 请 : 


接 下 来 ， 看 一 下 CachingExec#callBackend 实 现 。 


// 执 行 请 求 
final CloseableHttpResponse backendResponse = 

backend.execute(route, request, context, execAware); 
// 添 加 Via 3k 
backendResponse.addHeader("Via", generateViaHeader (backendResponse)); 
/ / Mb sia Mel. GF Hal I 
return handleBackendResponse(request, context, requestDate, 

getCurrentDate(), backendResponse); 


10.3.8 ”缓存 啊 应 


最 后 我 们 来 看 一 下 CachingExecf#handleBackendResponse 思 和 辑 。 
// 判 断 啊 应 是 否 可 以 缓存 


final boolean cacheable = responseCachingPolicy.isResponseCacheable ( 
request, backendResponse); 
/ /清除 过 期 的 缓存 条 目 
responseCache. flushInvalidatedCacheEntriesFor ( 
target, request, backendResponse) ; 

/ /如 果 可 以 缓存 ， 并 且 缓 存 中 没有 更 新 的 缓冲 条 目 ( 比 如 被 别 的 线程 更 新 了 )， 则 缓存 啊 应 
if (cacheable && 

lalreadyHaveNewerCacheEntry(target, request, backendResponse)) { 

/ [ARS WA SR 304, "n i3 If-Modified-Since, 

// 则 将 其 添加 到 啊 应 头 Last-Modified 
storeRequestIfModifiedSinceFor304Response (request, backendResponse); 
return responseCache.cacheAndReturnResponse (target, request, 

backendResponse, requestDate, responseDate); 
} 
// 如 果 不 缓存 ， 则 清除 缓存 条 目 
if (!cacheable) { 
responseCache.flushCacheEntriesFor(target, request); 


ResponseCachingPolicy#isResponseCacheable 用 于 判断 什么 情况 下 可 以 绥 存 。 
:如果 请 求 协议 版 本 不 是 HTTP/1.1， 则 不 能 缓存 。 


如 果 “Cache-Control:no-store” 则 不 能 缓存 (no-cache 是 可 以 缓存 的 ， 但 
是 每 次 需要 验证 ) e 


如 末 UREL 中 有 ”“?”， 且 CacheConfig 配 置 了 neverCacheHTTP10Responses 
WithQuery=true〈 表 示 从 不 缓存 市 参数 的 HITP/1.0 啊 应 ) ， 如 末 啊 应 头 
Via 有 “HTITP/1.0? 或 “1.0”， 则 表示 中 则 代理 层 有 HTITP/1.0 的 版 本 ， 不 能 
缓存 。 


"n mRURLHUES?", B8 PE" Expires" EX "Cache-Control" 7jmax- 
age. s-maxage. must-revalidate, proxy-revalidate, public, Jl] pe% 


a 


如 果 绥 存 头 "Expires” 早 于 请 求 头 ”Date”， 表 示 内 容 已 陈旧 ， 则 不 能 组 
存 。 


: 如 果 开 局 了 共享 缓存 〈sharedCache) ， 如 果 有 请 求 头 “Authorization”， 
但 是 啊 应 头 “Cache-Control]” 没 有 Ss-maxage、mnust-revalidate 或 public 时 ， 
则 不 能 缓存 。 


- 如 果 请 求 方法 不 是 GET、HEAD， 则 不 能 缓存 。 

:如果 响 应 状态 码 不 为 200、203、300、301、410， 则 不 能 缓存 。 
- 如 果 Content-Length>maxObjectSize， 则 不 能 缓存 。 

- 如 果 有 多 个 Age、Expires 汰 ， 则 不 能 绥 存 。 
如果 Date 头 不 为 1 个 ， 或 者 Date 无 法 解析 ， 则 不 能 缓存 。 

:如果 Vary 是 *， 则 不 能 缓存 。 


: 4 58Cache-ControlNno-store. no-cache, =X private, (AFP R SRR 
存 ， 则 不 绥 存 。 


在 默认 情况 下 ，HttpClient CacheConfig 参 数 (isSharedCache=true) 表示 
REAPS A BAF (public), 7 会 缓存 市 有 授权 头 “Authorization”(〈 除 非 明 
确 指定 为 public) 或 private 缓 存 ， 可 以 设置 isSharedCache=false 来 关闭 共 
BAF o 

eg 


Heuristic Cache, BU a RAF, BERS di A DI RR E ELA TE B SK 
NY, USE EAHA, ERD GER. WR m, Dump VAR 
4 CacheConfig H‘JheuristicCachingEnabled. heuristicCoefficient. 


heuristicDefaultLifetime 相 天 参数 开启 。 


到 此 我 们 介绍 完了 HttpClient 绥 存 的 主要 内 容 ， 忽略 了 一 些 不 影 啊 
主流 程 的 细 方 ， 如 果 想 要 彻 故 理解 ， 则 建议 深入 阅读 源 介 。 


10.3.9 ÆTLA 
根据 如 上 的 源码 分 析 ， 我 们 再 总 结 一 下 Cache-Control。 


”public: MAK, HIFR EP mAAR AA ARTT ， 
吧 应 可 以 被 缓存。 


.private: ”响应 头 ， 可 私有 缓存 (客户 端 可 以 缓存 ， 代 理 服务 器 不 能 组 
存 ) ， 比 如 用 户 私有 内 容 ， 不 能 共享 。 


: no-cache: 请求 头 使 用 时 表示 需要 回 源 验证 ， 啊 应 头 使 用 时 表示 人 允许 
绥 存 者 缓存 啊 应 ， 但 是 ， 使 用 时 必须 回 源 验证 ， 所 以 此 处 叫 no-cache 并 
不 是 很 好 。 

-no-store: 请 求 和 啊 应 禁止 缓存 。 

- max-age: ” 绥 存 的 保鲜 期 和 Expires 类 似 ， 根 据 该 值 校 验 缓 存 是 否 新 
- s-maxage: ”与 max-age 的 区 别 是 其 仅 用 于 共 娃 缓存 《如 绥 存 代理 服务 
$8). IET AGI SEIT 383 81] JE SE SEE RC US WE o 


max-stale:” 绥 存 的 最 大 陈旧 时 间 ， 如 果 绥 存 个 新 人 鲜 但 未 在 该 最 大 陈旧 
时 间 内 ， 则 可 以 返回 陈旧 的 内 容 。 


- min-fresh: ” 绥 存 的 最 小 新 鲜 期 ， 请 求 时 使 用 (你 鲜 期 -当前 Age) < 
min-fresh A] lr Ay 4 Xe 13 39r ÉF o 

: must-revalidate: 42770 f EFH, xaJ mg ub. no- 
cache 类 似 ， 但 是 更 严格 ， 不 能 使 用 后 人 台 重 新 验证 ， 而 no-cache 人 允许 后 合 
重新 验证 。 


: proxy-revalidate: ”与 must-revalidate 类 似 ， 但 是 ， 只 对 绥 存 代理 服务 器 


A, P mih BU ECS i BS ELD TUE 


: stale-while-revalidate: 请 求 时 ， 表 示 在 指定 的 时 间 内 可 以 先 返 回 陈旧 
的 内 容 ， 后 台 进 行 重 新 验证 〈 如 异步 验证 ) 。 


: stale-if-error: 请求 时 ， 表 示 在 指定 的 时 间 内 ， 当 重新 验证 请 求 啊 应 
状态 码 为 500、502、503、504 时 ， 可 以 使 用 陈旧 内 容 。 


only-if-cached: 请求 时 ， 使 用 该 尖 表 示 只 从 绥 存 著 取 啊 应 ， 如 来 没 
有 ， 则 504 Gateway Timeout。 


10.4 Nginx HTTPZZ ff ix E 


Nginx 提 供 了 expires、etag、if-modified-since 指 令 来 实现 浏览 器 绥 存 控 
til) o 


10.4.1 expires 


RE MK IURE 那么 可 以 使 用 expires 进 行 组 
子 控制 |。 


location /img { 
alias /export/img/; 
expires 1g; 


} 


当 我 们 访问 静态 资源 ， 如 http://192.168.61.129/img/1.jpg 时 ， 将 得 到 类 似 
如 下 的 啊 应 头 。 


Y General 
Request URL: http: //192.168.61.129/img/1.jpg 
Request Method: GET 
Status Code: @ 200 OK 
Remote Address: 192.168.61.129:80 


Y Response Headers 


Accept-Ranges: bytes 





Cache-Control: max-age-86400 


Connection: keep-alive 
Content-Length: 109589 
Content-Type: image/jpeg 


Date: Tue, 16 Aug 2016 13:05:50 GMT 
ETag: "57ad8c74-1ac15" 






Expires: Wed, 17 Aug 2016 13:05:50 GMT 
Last-Modified: Fri, 12 Aug 2016 08:44:36 GM 





对 于 天 态 资源 会 目 动 添加 ETag， 可 以 通过 配置 etag off 指令 禁止 生成 
ETag。 如 果 是 静态 文件 ， 那 么 Last-Modified 值 为 文件 的 最 后 修改 时 间 。 
Expires 是 根据 当前 服务 硕 系 统 时 间 算 出 来 的 。 如 下 是 Nginx expires 配 置 
的 计算 馆 辑 〈 实 际 计 算 逸 辑 要 更 多 ， 请 参考 官方 文档 ) 。 
if (expires == NGX HTTP EXPIRES ACCESS ||r->headers out .Last modified 
time == -1) { ME 7 " " 7 
max age = expires time; 
expires time += now; 


} 


10.4.2 if-modified-since 

eta & H fa xe Neinx Zn {ey XY ke 25-38 9m Last-Modified fU 33. z& 9m Mif- 
modifiedsince 时 间 进 行 比较 ， 默 认 的 “if_modified_since exac RINA Wa VE 
配 ， 也 可 以 使 用 “if modified since _before” 表 示 只 要 文件 的 最 后 修改 时 
间 早 于 或 等 于 浏览 器 端的 让 modified-since 时 间 ， 就 返回 304。 

10.4.3 nginx proxy. pass 


使 用 Nginx 作 为 反 向 代理 时 ， 请 求 会 先进 入 Nginx， 然 后 Nginx 将 请 求 转 
及 给 后 端 应 用 ， 如 下 图 所 示 。 
1.1 请 求 2.2 response 


Nginx 


1.2 proxy pass 2.1 response 


一 ~ 一 


Java WebJ 用 


首先 配置 upstream 。 


upstream backend tomcat 1 
server 192.168.61.1:9080 max fails-10 fail timeout=10s weaght=5; 
} 


接着 配置 location 


location = /cache { 
proxy pass http://backend tomcat/cacheSis argsS$args; 
} 


接 下 来 ， 我 们 可 以 通过 如 http://192.168.61.129/cache? 
millis=1471349916709 访 问 Nginx，Nginx 会 将 请 求 转发 给 后 端 Java 应 用 。 
也 就 是 说 Nginx 只 是 做 了 相关 的 转发 (负载 均衡 )， 并 没有 对 请 求 和 啊 
应 做 什么 处 理 。 


假设 需要 对 后 疹 返 回 的 过 期 时 间 进 行 调 整 ， 可 以 添加 Expires 指 令 到 
location 。 


location = /cache { 
proxy pass http://backend tomcat/cache$is argsS$args; 
expires 5s; 


} 


然后 再 请 求 相 关 的 URL， 将 得 到 如 下 响应 。 





Y Response Headers view source 


ache-Control: max-age=5 





Connection: keep-alive 
Content-Length: 39 

Content-Type: text/html; charset=UTF-8 
Date: Wed, 17 Aug 2016 89:39:45 GMT 





Last-Modified: Tue, 16 Aug 2016 28:18:36 GMT 
Server: openresty/1.9.7.4 


过 期 时 间 相 关 的 啊 应 头 航 Expires 指 令 更 改 了 ， 但 是 lastmodified 是 没有 
Sale 


即使 我 们 更 改 了 缓存 过 期 头 ， 但 Nginx 自 己 没 有 对 这 些 内 容 做 代理 层 组 
人 存 ， 每 次 请 求 还 是 要 到 后 端 验 证 的 。 假 设 在 过 期 时 间 内 ， 这 些 验证 在 
Nginx 这 一 层 进行 融 可 以 了 ， 不 需要 到 后 闯 验 证 ， 这 样 可 以 减少 后 十 很 
大 的 压力。 基体 整体 流程 如 下 。 


1. 浏 览 器 发 起 请 求 ， 首 先 到 Nginx，Nginx 根 据 URL 在 Nginx 本 地 查找 是 
侍 有 代理 层 本 地 绥 存 。 


2.Nginx 没 有 找到 本 地 绥 存 ， 则 访问 后 疡 获取 最 新 的 文档 ， 并 放 入 Nginx 
本 地 绥 存 ， 返 回 200 状 态 人 码 和 最 新 的 文档 给 浏 贤 磊 。 


3.Nginx 找 到 本 地 绥 存 ， 痛 先 验 证 文档 是 人寿 过 期 (Cache-Control:max- 

age=5) 。 如 果 过 期 ， 则 访问 后 闹 获 取 最 狐 的 文 赚 ， 并 放 入 Nginx 本 地 组 
和 仓 ， 返 回 200 状 态 码 和 最 新 的 文档 给 浏览 右 ; 如 果 文 档 没 有 过 期 ， 即 if- 
modified-since 与 缓存 文档 的 lasttmodified 匹 配 ， 则 返回 304 状 态 码 给 浏览 
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EAE. EE S ER AY Ze ieee TAR PR RR. Apache 
Traffic ”Server、Squid、Varnish、Nginx 等 搁 术 都 可 以 用 来 进行 内 容 绥 
存 。 人 还 有 CDN 拉 术 束 是 用 来 加 速 用 尸 访 问 的 。 













广州 CDN 节 点 





北京 CDN 节 点 | 上 海 CDN 节 点 





中 央 nginx 集 群 | 


1 


后 端 应 用 集群 








用 户 首 先 访问 全 国 各 地 的 CDN 节 点 《使 用 如 ATS、Squid 实 现 ) ， 如 果 
CDN 没 命中 ， 则 会 回 源 到 中 央 Nginx 和 集群 ， 该 集群 做 二 级 缓存 ， 如 果 没 
有 命中 缓存 (该 集 群 的 绥 存 不 是 必须 的 ， 要 根据 实际 命中 情况 等 决 
XE) ， 则 最 后 回 源 到 后 端 应 用 集群 。 


像 我 们 商品 评 情 页 的 一 些 服 务 束 大量 使 用 了 Nginx 绥 存 减少 回 源 到 后 病 
的 请 求 量 ， 从 而 提升 访问 速度 。 可 以 参考 “第 11 章 URP". "1688 
构建 需求 响应 式 亿 级 商品 详情 页 ”和 “第 17 章 京东 商品 详情 页 服务 闭环 实 
ERU, 


10.5 Nginx R HRT 
10.5.1 Nginx E ZZ FACE 


1.HTTP 模 块 配置 
proxy buffering on; 
proxy buffer size Ak; 
proxy buffers 912 ák; 
proxy busy buffers size 64k; 
proxy cache path /export/cache/proxy cache levels=1:2 


keys zone=cache:512m inactive=5m max size=8g use temp path-off; 


#proxy timeout 


proxy connect timeout 38; 
proxy read timeout 284 
proxy send timeout Sa 


proxy cache pathjE 4 Bü B: 


: levels=1:2: ”表示 创建 两 级 目录 结构 ， 绥 人 存 目 录 的 第 一 级 目录 是 1 个 字 
符 ， 第 二 级 目录 是 2 个 字符 ， 比如 /exportWcache/proxy_ cache/7/3c/， 如 果 
将 所 有 文件 放 和 在 一 级 目录 下 的 话 ， 文 件 量 很 大 ， 会 导致 文件 访问 变 慢 。 


”keys_zone=cache:512m: ”设置 存储 所 有 绥 存 key 和 相关 信息 的 共 孚 内 
存 区 ，1M 大 约 能 存储 8000 个 key。 


”inactive=5m : inactive 指 定 被 绥 仔 的 内 容 多 人 入 不 被 访问 将 从 绥 仓 中 移 
除 ， 以 保证 内 容 的 新 鲜 ， 默 认为 10 分 钟 。 


max size-8g: mm KZA, “cache manager 进 程 会 监控 最 大 绥 存 大 
小 ， 当 绥 存 达到 该 国人 时， 充 进 程 将 从 缓存 中 移 除 最 近 最 少 访问 的 内 
a. 


use temp path: 如 未 为 on， 则 六 容 首先 被 号 入 临时 文件 
(proxy temp path ) ， 然 后 重 命 名 到 proxy_cache_path 指 定 的 目录 ; 如 
Rice Noff, WAR ARRS AZlilproxy_cache_pathtHie Hox. And 
需要 cache 建 议 off。 (该 特性 是 1.7.10 提 供 的 。) 


2.proxy_cache 配 置 


location = /cache { 
proxy Cache cache; 
proxy cache key S$schemeSproxy host$request uri; 
proxy cache valid 200 Ss? 
proxy pass http://backend tomcat/cacheSis argsS$args; 
add header cache-Status $upstream cache Status; 


绥 存 相关 配置 。 
: proxy cache: 指定 使 用 哪个 共享 内 存 区 存储 缓存 信 息 。 


: proxy cache key : 设置 缓存 使 用 的 key， 默 认为 完整 的 访问 UREL， 根 
据 实 际 情况 设置 缓存 key。 

proxy cache valid : 为 不 同 的 啊 应 状态 码 设 置 缓 存 时 间 。 如 采 十 
proxy cache valid 5s， 则 200、301、302 啊 应 都 将 被 绥 存 。 


proxy_cache_valid 不 是 唯一 设置 绥 存 时 间 的 ， 还 可 以 通过 如 下 方式 〈 优 
先 级 从 上 到 下 ) 实现 。 


以 秒 为 单位 的 “X-Accel-Expires” 啊 应 头 来 设置 啊 应 绥 存 时 间 。 





如 果 没 有 “X-Accel-Expires”， 则 可 以 根据 “Cache- 
Control”、“Expires” 来 设置 啊 应 绥 存 时 间 。 


£M], fiEHjproxy cache validi E Zr Hj I]. 


如 果 啊 应 头 包 含 Cache-Control: private/no-cache/no-store, Set-Cookie, 
或 者 只 有 一 个 Vary 啊 应 头 且 其 值 为 *， 则 啊 应 内 容 将 不 会 被 缓存 。 可 以 


使 用 proxy_ignore_headers 来 忽略 这 些 啊 应 头 。 


: add header cache-status $upstream_cache_status 在 啊 应 头 中 添加 缓存 
命中 的 状态 。 





HIT: 缓存 命中 ， 直 接 返 回 缓存 中 内 容 ， 不 回 源 到 后 端 。 


MISS: 组 人 存 未 命中 ， 回 源 到 后 端 获 取 了 最 新 的 内 容 。 


EXPIRED: 绥 存 命中 但 过 期 了 ， 回 源 到 后 端 获 取 最 新 的 内 容 。 


UPDATING: ” 绥 存 已 过 期 但 正在 被 别 的 Nginx Worker 进 程 更 新 ， 


配置 了 proxy_cache_use_stale updating 指 令 时 会 存在 该 状态 。 





STALE: 缕 存 已 过 期 ， 但 因 后 新 服务 出 现 了 问题 (比如 后 并 服务 
fe J) 返回 过 期 的 啊 应 ， 配 置 了 如 proxy_cache_use_stale error timeout 指 
令 后 会 出 现 该 状态 。 





REVALIDATED: 局 用 proxy_cache_revalidate 指 令 后 E- BAF 内 容 
过 期 时 ，Nginx 通 过 一 次 让 modified-since 的 请 求 头 去 验证 绥 存 内 容 是 合 
过 期 ， 此 时 会 返回 该 状态 。 


BYPASS: proxy_cache_bypass 指 令 有 效 时 ， 强 制 回 源 到 后 端 获 取 


内 容 ， 即 使 已 经 缓存 了 。 


: proxy cache min uses: ”用 于 控制 请 求 多 少 炊 后 啊 应 才 人 被 缓存 。 默 认 
的 "proxy_cache_min_uses 12 指 ， 如 末 绥 仔 热 点 比较 集中 、 存 人 备 有 限 ， 
则 可 以 通过 修改 该 参数 来 减少 缓存 数量 和 与 倍 盘 次 数 。 


proxy_no_cache: 用 于 控制 什么 情况 下 啊 应 不 和 被 缓存 。 比 如 配 
置 “proxy_no_cache $args_ nocache”, WHR HJnocacheZ Zi [B 28 ^b — 
NAMA AO. Nuls WOR AN REE o 


- proxy cache bypass: 类似 于 proxy_no_cache， 但 其 控制 什么 情况 不 
使 用 缓存 的 内 容 ， 而 是 直接 到 后 并 获取 最 狐 的 内 容 。 如 果 命 中 ， 则 
$upstream_cache_status 为 BYPASS。 


- proxy_cache_use_stale: “” 当 对 缓存 内 容 的 过 期 时 间 不 敏感 ， 或 者 后 端 
服务 出 问题 时 ， 即 使 缓存 的 内 容 不 新 鲜 也 总 比 返 回 钳 误 给 用 户 强 《类 似 
FHER) ， 此 时 可 以 配置 该 参数 ， 如 “proxy_cache_use_stale error 
timeout http 500 http 502 http 503 http 504", Bn BEWEERT, Jes i XE 
接 出 错 、500/502/503 等 错误 时 ， 则 即使 缓存 内 容 已 过 期 也 和 完 返 回 给 用 
户 ， 此 时 $upstream_cache_status 为 STALE。 还 有 一 个 updating 表 示 绥 存 
己 过 期 但 正在 被 别 的 Nginx Worker 进 程 更 新 ， 只 是 先 返 回 了 过 期 内 容 ， 
此 时 $Supstream cache status7jUPDATING. 


proxy cache revalidate: 当 缓 存 过 期 后 ， 如 果 开 局 了 
proxy cache revalidate, US% H1— 7Xif-modified-sinceBVif-none-match2& 
件 请 求 ， 如 有 果 后 闫 返回 304， 则 此 时 $upstream_cache_status 为 
REVALIDATED， 我 们 将 得 到 两 个 好 处 ， 布 省 市 宽 和 减少 写 破 盘 的 次 


- proxy_cache_lock: 当 多 个 客户 闪 同 时 请 求 同 一 份 内 容 时 ， 如 果 开 局 
proxy cache lock CEXiAoff) ， 则 只 有 一 个 请 求 被 发 送 至 后 内。 其 他 请 
求 将 等 每 该 请 求 的 返回 。 当 第 一 个 请 求 运 回 后 ， 其 他 相同 请 求 将 从 缓存 
中 获取 内 容 返 回 。 当 第 一 个 请 求 超 过 了 proxy_cache_lock_timeout 超 时 时 
则 《默认 为 5s，， 则 其 他 请 求 将 同时 请 求 到 后 病 来 获取 啊 应 ， 有 旦 啊 应 不 
会 航 绥 人 存 〈 在 1.7.8 版 本 之 前 是 航 缓 存 的 ) 。 局 用 proxy_cache_lock 可 以 
应 对 Dog-pile effect〈 当 地 个 缓存 失效 时 ， 同 时 有 大 量 相 同 的 请 求 没 命中 
绥 存 ， 而 同时 请 求 到 后 崎 ， 从 而 导致 后 端 压力 太 大 ， 此 时 限制 一 个 请 求 
去 获取 即 可 ) 。 


- proxy_cache_lock_age 7&1.7.8:9:255/]] HJ, "UAR fEproxy. cache lock age 
指定 的 时 间 内 《默认 为 5s) ， 最 后 一 个 友 送 到 后 六 进行 新 缓存 构建 的 请 

求 还 没有 完成 ， 则 下 一 个 请 求 将 修改 运 到 后 闹 来 构建 组 存 〈( 因 为 1.7.8 版 
本 之 后 ，proxy_cache_lock_timeout 超 时 之 后 返回 的 内 容 古 不 绥 存 的 ， 需 

要 下 一 次 请 求 来 构建 啊 应 缓 企 ) 。 


10.5.2 HEZI 


有 时 绥 存 的 内 容 是 销 误 的 ， 需 要 手工 清理 。Nginx 丙 业 碑 提供 了 purger 功 
能 ， 对 于 社区 版 Nginx， 则 可 以 考虑 使 用 

ngx cache purge (https://github.com/FRiCKLE/ ngx_cache_purge) 模块 
进行 绥 存 清理 。 


location ~ /purge(/.*) { 
allow 127,5.0,.0.214 
deny all; 


proxy cache purge cache$15is argsSargs; 


j 


该 方法 要 限制 访问 权限 ， 如 只 多 许 内 网 可 以 访问 或 者 需要 密码 才能 访 
问 。 


到 此 代理 层 缓存 就 介绍 完了 ， 通 过 代理 层 缓存 可 以 解决 很 多 问题 ， 可 以 
参考 "第 17 音 京东 商品 详情 页 服务 闭环 实践”。 


10.6 一 些 经 验 


只 绥 存 200 状 态 人 码 的 啊 应 ， 像 302 和 等， 要 根据 实际 场景 决定 。 比 如 ， 轨 
系统 出 错时 ， 目 动 302 到 错误 页 面 ， 此 时 缓存 302 束 个 对 了 了 。 


有 些 页 面 不 需要 强 一 致 ， 可 以 进行 几 秘 的 缓 仔 。 比 如 商品 详情 页 展示 
可 以 缓存 几 秘 钟 。 短 时 间 的 不 一 致 对 于 用 户 来 说 是 没有 影响 


JS/CSS/image 等 一 些 内 容 绥 人 存 时 间 可 以 设置 为 很 入， 比如 1 个 月 甚至 1 
年 ， 退 过 在 页 面 修改 版 本 来 控制 过 期 。 


假设 商品 详情 页 异步 加 载 的 一 些 数据 ， 使 用 last-modified 进 行 过 期 控 
制 ， 而 服务 妖 病 做 了 远 辑 修改 ， 但 内 容 是 没有 修改 的 ， 即 内 容 的 最 后 修 
改 时 间 没 变 。 如 果 想 过 期 这 些 寞 步 加 载 的 数据 ， 则 可 以 考虑 在 隘 品 评 情 
页 榨 加 异步 加 载 数 据 的 厂 本 号 ， 通 过 添加 厂 本 号 来 加 载 最 新 的 数据 ， 或 
者 将 last-modified 时 间 加 1 来 解决 ， 但 这 种 情况 下 使 用 ETag 是 更 好 的 选 


$E. 


. 商品 详情 页 异步 加 载 的 一 些 数据 ， 可 以 考虑 更 长 时 间 的 缓存 ， 比 如 1 个 
月 而 不 是 几 分 钟 。 可 以 通过 MQ 将 修改 时 间 推 送 到 商品 详情 页 ， 从 而 实 
现 按 需 过 期 数据 。 


”服务 器 端 考 虑 使 用 tmpfs 内 存 文件 系统 缓存 、SSD 缓 存 ， 使 用 服务 器 端 
负载 均衡 算法 一 致 性 哈 希 来 提升 缓存 命中 率 。 


. 缓存 key 要 合理 设计 。 比 如 ， 去 掉 某 些 参数 或 排序 参数 ， 以 保证 代理 层 
的 缓存 命中 率 ; 要 有 清理 缓存 的 工具 ， 出 问题 时 能 快速 清理 掉 问 题 
key. 


AB 测 试 /个 性 化 需求 时 ， 要 禁用 掉 浏 览 器 缓存 ， 但 要 考虑 服务 器 端 组 
存 。 
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时 ， 知 道 哪 人 台 服 务 需 有 问题 。 
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11 多 级 缓存 
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天 的 问题 ， 如 缓存 算法 、 热 点 数据 与 更 新 缓 仔 、 更 新 缓 仔 与 原子 性 、 绥 
存 朋 注 与 快速 恢复 等 各 种 问题 。 而 这 些 问 题 中 ， 有 些 问 题 义 是 与 场景 相 
天 ， 因 此 ， 如 何 合理 应 用 绥 存 来 解决 问题 也 是 一 个 选择 题 。 本 文 所 有 内 
容 部 跟 读 服务 缓存 相关 ， 不 会 涉及 写 服 务 数据 的 缓存 。 本 文 不 考虑 内 容 
型 应 用 前 置 的 CDN 淋 构 ， 也 不 会 涉及 绥 存 数据 结构 优化 、 绥 存 空间 利用 
率 跟 业务 数据 相关 的 细节 问题 ， 主 要 从 架构 和 提升 命中 率先 层面 来 探讨 
缓存 方案 。 本 文 将 基于 多 级 缓存 模式 来 介绍 应 用 缓存 时 需要 注意 的 问题 
和 一 些 解 决 方案 ， 其 中 一 些 方 案 已 经 实现 ， 而 有 一 些 是 正在 尝试 用 来 解 
决 痛 丘 问题 。 


11.1 多 级 缓存 介 绍 
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程 如 下 图 所 示 。 
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整体 流程 如 下 。 


1. 接 入 Nginx 将 请 求 负载 均衡 到 应 用 Nginx， 此 处 常用 的 负载 均衡 算法 是 
轮 询 或 者 一 致 性 哈 希 。 轮 询 可 以 使 服务 霹 的 请 求 更 加 均衡 ， 而 一 致 性 哈 
布 可 以 提升 应 用 Nginx 的 绥 存 命中 雍 ， 后 续 在 负载 均衡 和 组 存 算 法 部 分 
我 们 再 详细 介绍 。 


2. 应 用 Nginx 谈 取 本 地 缓存 【本 地 缓存 可 以 使 用 Lua Shared Dict. Nginx 
Proxy Cache (RiR N) ~ Local RedisSz34) 。 如 果 本 地 绥 存 命中 ， 
则 直接 返回 ， 使 用 应 用 Nginx 本 地 组 存 可 以 提升 整体 的 吞吐 量 ， 降 低 后 
内 压力 ， 尤 其 应 对 热点 问题 非常 有 效 。 为 什么 要 使 用 Nginx 本 地 绥 存 我 
们 将 在 热点 数据 与 缓存 失效 部 分 详细 介绍 。 


3. 如 果 Nginx 本 地 缓存 没命 中 ， 则 会 读 取 相应 的 分 布 式 缓存 (如 Redis 绥 
存 ， 还 可 以 考虑 使 用 主 从 架构 来 提升 性 能 和 吞吐 量 ) ， 如 果 分 布 式 缓存 
命中 ， 则 直接 返回 相应 数据 〈 并 回 写 到 Nginx 本 地 缓存 ) 。 


4. 如 果 分 布 式 缓存 也 没有 命中 ， 则 会 回 源 到 Tomcat 集 群 ， 在 回 源 到 
Tomcat 集 群 时 ， 也 可 以 使 用 轮 询 和 一 致 性 哈 硕 作 为 负载 均衡 算法 。 


5. 在 Tomcat 习 用 中 ， 自 先 读 取 本 地 堆 缓 存 。 如 果 有 ， 则 年 接 返 回 (并 会 
写 到 主 Redis 集 群 》， 为 什么 要 加 一 层 本 地 堆 绥 和 存 将 在 绥 存 朋 尝 与 快速 


修复 部 分 详细 介绍 。 


6. 作 为 可 选 部 分 ， 如 果 步 又 4 没 有 命中 ， 则 可 以 再 答 试 一 次 该 主 Redis 集 
群 操作 ， 目 的 是 防止 当 从 集群 有 问题 时 的 沈 量 冲击 。 


条 所 有 绥 存 都 没有 命中 ， 则 只 能 得 询 DB 或 相关 服务 获取 相关 数据 并 
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8. 步 又 7 返回 的 数据 异步 写 到 主 Redis 集 群 ， 此 处 可 能 有 多 个 Tomcat 实 例 
间 时 与 主 Redis 集 群 ， 会 造成 数据 错乱 ， 如 何 解 决 该 问题 将 在 更 新 缓存 
与 原子 性 部 分 详细 介绍 。 


整体 分 了 三 部 分 缓存 : 应 用 Nginx 本 地 缓存 、 分 布 式 缓存 、Tomcat 扒 组 
存 。 每 一 层 缓存 都 用 来 解决 相关 问题 ， 如 应 用 Nginx 本 地 绥 仔 用 来 解雇 
热点 缓存 问题 ， 分 布 式 缓存 用 来 减少 访问 回 源 诗 ，Tomcat 推 缓 仔 用 于 防 
IETH2S AREE AU BR tt Aa B de 


虽然 都 是 加 缓存 ， 但 是 怎么 加 、 怎 么 用 ， 细 想 下 来 还 是 有 很 多 问题 需要 
权衡 和 考量 的 ， 接 下 来 的 部 分 我 们 就 详细 来 讨论 一 些 缓存 相关 的 问题 。 


11.2 如何 绥 存 数 据 
11.2.1 过 期 与 不 过 期 


对 于 缓存 的 数据 我 们 可 以 考虑 不 过 期 缓存 和 带 过 期 时 间 缓存 ， 什 么 场景 
应 该 选择 哪 种 模式 需要 根据 业务 和 数据 量 等 因素 来 决定 。 


不 过 期 缓存 场景 一 般 思 路 如 下 图 所 示 。 





， 写 缓存 





使 用 Cache-Aside 模 式 ， 首 先 写 数据 库 ， 如 果 成 功 ， 则 写 绥 人 存 。 这 种 场景 
下 存在 事务 成 功 、 绥 存 写 失败 但 无 法 回 禾 事务 的 情况 。 另 外 ， 不 要 把 与 
绥 存 放 在 事务 中 ， 尤 其 与 分 布 式 缓存 ， 因 为 网 络 抖动 可 能 导致 写 绥 存 啊 
应 时 间 很 怪 ， 引 起 数据 库 事务 阻塞 。 如 果 对 缓存 数据 一 致 性 要 求 不 是 那 
么 高 ， 数 据 量 也 不 是 很 大 ， 则 可 以 考虑 定期 全 量 同步 缓存 。 


为 更 好 解决 以 上 多 个 事务 的 问题 ， 可 以 考虑 使 用 “第 15 章 队列 术 ” 中 所 使 
用 的 基于 Canal 实 现 缓存 同步 。 


对 于 长 尾 访 问 的 数据 、 大 多 数 数据 访问 频率 都 很 高 的 场景 ， 或 者 是 缓存 
衬 间 足够 ， 都 可 以 考虑 不 过 期 缓存 ， 比 如 用 户 、 分 类 、 商 品 、 价 格 、 订 
单 等 。 当 缓存 满 了 ， 可 以 考虑 用 LRU 机 制 驱逐 老 的 缓存 数据 。 


过 期 缓存 “机制 ， 如 采用 懒 加 载 ， 一 般 用 于 缓存 其 他 系统 的 数据 〈 无 法 
订阅 变更 消息 ， 或 者 成 本 很 高 ) 、 组 存 空 间 有 限 、 低 频 热 点 缓存 等 场 

景 。 季 见 步 又 是 首 抑 谈 取 缓 仔 ， 如 末 不 命中 ， 则 碍 询 数据 ， 然 后 异步 与 
入 绥 存 并 设置 过 期 时 间 ， 下 次 读 取 将 命中 缓存 。 热 丘 数 据 经 第 使 用 过 期 
缓存， 即 在 应 用 系统 上 绥 存 比较 短 的 时 间 。 这 种 缓存 可 能 存在 一 段 时 间 


的 数据 不 一 至 情况， 需要 根据 场景 来 决定 如 何 设置 过 期 时 间 。 如 库存 数 
据 可 以 在 前 是 应 用 上 绥 存 几 秒 钟 ， 短 时 间 的 人 不一致 是 可 以 怒 受 的 。 


11.22 ” 维 虚 化 绥 存 与 增 量 缓存 


对 于 电 丙 系统 ， 一 个 商品 可 能 拆 成 如 基础 属性 、 图 片 列 表 、 上 下 架 、 规 
格 参 数 、 丙 品 介绍 等 。 如 打 丙 品 变更 了 ， 归 把 这 些 数 据 都 更 新 一 届 ， 喝 
靳 成 本 很 咒 ， 包 括 接 口 调用 量 和 市 党 。 因 此 ， 最 好 将 数据 进行 维度 化 并 
增 量 更 新 《只 更 新 变 的 部 分 ) 。 尤 其 如 上 下 以 这 种 只 是 一 个 状态 变更 但 
每 天 频 索 调用 的 数据 ， 维 度 化 后 能 减少 服务 很 大 压力 。 


11.2.3 ”大 Value 缓存 


要 党 惕 绥 存 中 的 大 Value， 尤 其 是 使 用 Redis 时 。 过 到 这 种 情况 时 可 以 考 
虚 使 用 多 线程 实现 的 绥 存 ， 如 Memcached， 来 绥 存 大 Value; 或 者 对 
Value 进行 压缩 ;或 者 将 Value 拆 分 为 多 个 小 Value， 客 户 闪 再 进行 得 询 、 


XLS 
聚合 。 


11.2.4 热点 缓存 
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取 ， 可 能 会 因为 访问 量 太 大 寻 致 远程 缓存 系统 请 求 过 多 、 人 负载 过 高 或 者 
市 视 过 高 等 问题 ， 最 终 可 能 导致 缓存 啊 应 慢 ， 使 各 户 站 请 求 超时 。 一 种 
解雇 方 案 是 通过 挂 更 多 的 从 缓存 ， 和 客户 凯 通 过 负载 均衡 机 制 恋 取 从 缓存 
系统 数据 。 不 过 也 可 以 在 客户 闪 所 在 的 应 用 /代理 层 本 地 存储 一 份 ， 从 
而 避免 访问 远程 缓存 ， 即 使 像 库 存 这 种 数据 ， 在 有 些 应 用 系统 中 也 可 以 
进行 几 秒 钟 的 本 地 缓存 ， 从 而 降低 远程 系统 的 压力 。 


11.3 分布 式 绥 存 与 应 用 负载 均衡 


11.3.1 缓存 分 布 式 


此 处 说 的 分 布 式 缓存 一 般 采 用 分 户 实现 ， 即 将 数据 分 散 到 多 个 实例 或 多 
台 服 务 右 。 算 法 一 般 采 用 取 模 和 一 致 性 哈 布 。 要 采用 如 之 前 所 说 的 不 过 
期 绥 存 机 制 ， 可 以 考虑 取 模 机 制 ， 扩 容 时 一 般 是 新 建 一 个 集群 。 而 对 于 
可 以 丢失 的 缓存 数据 ， 可 以 和 元 虑 一 致 性 哈 布 ， 即 使 其 中 一 个 实例 出 问题 


Ree Des, AYE at Fr SREY AS his ee vita SEO 或 者 使 用 如 
Twemproxy 中 国 件 进行 代理 〈 分 请 对 各 户 奖 征 透 明 的 ) 。 如 果 使 用 
Redis， 则 可 以 考虑 使 用 redis-cluster 分 布 式 集群 方案 。 


11.3.2 ”应 用 人 负载 均衡 
应 用 负载 均衡 一 般 采 用 轮 询 和 一 致 性 哈 希 ， 一 致 性 哈 希 可 以 根据 应 用 请 


求 的 URL 或 者 URL 参 数 将 相同 的 请 求 转 友 a 到 同一 个 太后。 而 轮 询 是 将 请 
求 均 匀 地 转 友 到 每 个 服务 融 ， 如 下 图 所 示 。 
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整体 流程 如 下 。 
1. 自 和 完 ， 请 求 进 入 接 入 层 Nginx。 
2. 根 据 负 载 均衡 算法 将 请 求 转发 给 应 用 Nginx。 


3. 如 果 应 用 Nginx 本 地 缓存 命中 ， 则 直接 返回 数据 ， 和 否则 读 取 分 布 式 组 
存 或 者 回 源 到 Tomcat。 


轮 询 的 优点 是 ， 到 应 用 Nginx 的 请 求 更 加 均匀 ， 使 得 每 个 服务 器 的 负载 
基本 均衡 。 轮 询 的 缺点 是 ， 随 着 应 用 Nginx 服 务 器 的 增加 ， 绥 存 的 命中 
率 会 下 降 ， 比 如 ， 原 来 10 台 服务 器 命中 率 为 900%， 再 加 10 台 服务 右 将 可 
Ie ET TON 
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因为 增加 服务 部 而 降低 。 一 致 性 哈 希 的 缺点 是 ， 因 为 相同 的 请 求 会 园 友 
到 同一 台 服 务 规 ， 因 此 ， 可 能 造成 东 合 服务 闫 负载 过 重 ， 其 至 因为 请 求 
太 多 导致 服务 出 现 问题 。 


解决 办 法 是 根据 实际 情况 动态 选择 使 用 哪 种 算法 。 
: 负载 较 低 时 ， 使 用 一 致 性 哈 希 。 


”热点 请 求 降级 一 致 性 哈 希 为 轮 询 ， 或 者 如 果 请 求 数 据 有 规律 ， 则 可 考 
度 市 权重 的 一 致 性 哈 希 。 


将 热点 数据 推送 到 接 入 层 Nginx， 百 接 啊 应 给 用 户 。 

11.4 ”热点 数据 与 更 新 缓存 

热点 数据 会 造成 服务 需 压 力 过 大 ， 导 致 服务 需 性 能 、 否 吐 量 、 市 宽 达 到 
极限 ， 出 现 啊 应 慢 或 者 拒绝 服务 的 情况 ， 这 肯定 是 不 允许 的 。 可 以 用 如 
下 几 个 方案 去 解决 。 


11.4.1 NLA AEM 


LVS+HAProxy 


= 


Nginx+Lua 






J 


== 


Nginx+Lua 






Nginx+Lua 





| 


如 上 图 所 示 ， 所 有 绥 存 都 存储 在 应 用 本 机 ， 回 源 之 后 会 把 数据 更 新 到 主 
Redis 集 群 ， 然 后 通过 主 从 模式 复制 到 其 他 从 Redis 集 群 。 绥 存 的 更 新 可 
以 采用 懒 加 载 或 者 订阅 消息 进行 同步 。 


11.4.2 ”分布 式 缕 存 + 应 用 本 地 热点 
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更 新 缓存 主 Redis 集 群 Hz 


Tomcat | Tomcat «— ^ 15 
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对 于 分 布 式 缓存 ， 我 们 需要 在 Nginx+Lua 应 用 中 进行 应 用 缓存 来 减少 
Redis 集 群 的 访问 冲击 ， 即 首先 查询 应 用 本 地 绥 存 ， 如 果 命 中 ， 则 下 接 
缓存 ， 如 果 没 有 命中 ， 则 接着 查询 Redis 和 集群、 回 源 到 Tomcat， 然 后 将 
数据 绥 存 到 应 用 本 地 。 


对 于 LVS+HAProxy 到 应 用 Nginx 的 负载 机 制 ， 正 利 情 况 采 用 一 致 性 哈 
锅 ， 如 果 某 个 请 求 类 型 的 访问 量 突破 了 一 定 的 立 值 ， 则 自动 降级 为 轮 询 
机 制 。 而 对 于 一 些 秒杀 活动 之 类 的 热点 ， 我 们 是 可 以 提前 知道 的 ， 可 以 
把 相关 数据 预先 推送 到 应 用 Nginx， 并 将 负载 均衡 机 制 降级 为 轮 询 。 实 
际 场景 中 我 们 是 通过 两 级 Nginx〈( 接 入 Nginx o MH Nginx) 实现 访 特性 
的 ， 没 有 在 LVS+HAProxy 层 实现 。 














为 外 ， 可 以 考虑 建 并 实时 热点 发现 系统 来 肥 现 热 皮 。 
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1. 接 入 Nginx 将 请 求 转发 给 应 用 Nginx。 


2. 应 用 Nginx 首 移 谈 取 本 地 绥 存 。 如 末 命 中 ， 则 直接 返回 ， 不 命中 会 读 
取 分 布 式 缓存 、 回 源 到 Tomcat 进 行 处 理 。 


3. 应 用 Nginx 会 将 请 求 上 报 给 实时 热点 发 现 系 统 ， 如 使 用 UDP 直 接 上 报 


请 求 ， 或 者 将 请 求 与 到 本 地 kafka， 或 者 使 用 flume 订 赔本 地 Nginx 日 志 。 
上 报 给 实时 热点 发 现 系 统 后 ， 它 将 进行 热点 统计 (可 以 考虑 storm 实 时 


4. 根 据 设置 的 国 值 将 热点 数据 推 友 到 应 用 Nginx 本 地 绥 存 。 


因为 做 了 本 地 绥 存 ， 需 要 我 们 去 考虑 数据 一 到 性， 即 何 时 失效 或 更 新 组 
子 。 


如 来 可 以 订阅 数据 变更 消 忌 ， 那 么 建议 订阅 变更 消 居 以 进行 缓存 更 
”如果 无 法 订阅 消 忆 或 者 订阅 冲 明成 本 比较 咒 ， 并 且 对 短暂 的 数据 一 致 
性 有 要求 不 严格 《比如 ， 在 商品 详情 页 看 到 的 库存 ， 可 以 短暂 的 不 一 致 ， 
只 要 你 证 下 单 时 一 致 即 可 ) ， 那 么 可 以 设置 合理 的 过 期 时 间 ， 过 期 后 再 
得 询 新 的 数据 。 


” 如 果 是 秒杀 之 类 的 ， 可 以 订阅 活动 开局 消 且 ， 将 相关 数据 提前 推送 到 
二 吕 应用， 并 将 负载 均衡 机 制 降级 为 轮 询 。 


建立 实时 热点 发 现 系统 来 对 热点 进行 统一 推送 和 更 新 。 


11.5 ”更 新 缓存 与 原子 性 


正如 之 前 说 的 ， 如 来 多 个 应 用 同时 操作 一 份 数 据 ， 很 可 能 导致 缓存 数据 
变 成 及 数据 ， 解 决 办 法 如 下 。 


” 喝 新 数据 时 使 用 更 新 时 间 扒 或 者 版 本 对 比 ， 如 末 使 用 Redis， 则 可 以 利 
用 其 单线 程 机 制 进行 原子 化 更 新 。 


:使 用 如 canal 订 阅 效 据 库 binlog。 


”将 更 新 请 求 按照 相应 的 规则 分 散 到 多 个 队列 ， 然 后 每 个 队列 进行 单线 
程 更 新 ， 更 新 时 拉 取 最 新 的 数据 保存 。 


.用 分 布 式 锁 ， 在 更 新 之 前 获取 相关 的 锁 。 
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11.6.1 取 模 


对 于 取 模 机 制 ， 如 朱 其 中 一 个 实例 外 了， 摘除 此 实例 将 导致 大 量 缓存 不 
命中 ， 则 瞬间 大 流量 可 能 导致 后 闹 DB/ 服 务 出 现 问题 。 对 于 这 种 情况 ， 
可 以 采用 主 从 机 制 来 避免 实例 坏 了 的 问题 ， 即 其 中 一 个 实例 坏 了 可 以 用 
从 / 主 项 上 来 。 但 是 ， 取 模 机 制 下 增加 一 个 节 扣 将 导致 大 量 绥 存 不合 
一 般 十 建立 为 一 个 集群 ， 然 后 把 数据 迁移 a 到 新 集群 ， 把 流量 迁移 过 


11.6.2 ”一 致 性 哈 希 

对 于 一 致 性 哈 希 机 制 ， 如 果 其 中 一 个 实例 坏 了 ， 摘 除 此 实例 只 影响 一 致 
性 哈 希 环 上 的 部 分 缓存 不 命中 ， 不 会 导致 大 量 缓存 瞬间 回 源 到 后 端 DB/ 
服务 ， 但 是 也 会 产生 一 些 影响 。 


为 外 ， 也 可 能 因为 一 些 误 操 作 导 人 致 整个 绥 存 集群 出 现 问 题 ， 如 何 快速 恢 
FE? 


11.6.3 ”快速 恢复 


如 果 出 现 之 前 说 到 的 一 些 问 题 ， 可 以 考虑 如 下 方案 。 
: 主 从 机 制 ， 做 好 宛 余 ， 即 其 中 一 部 分 不 可 用 ， 将 对 等 的 部 分 补 上 去 。 


如 果 因 为 缓存 导致 应 用 可 用 性 已 经 下 降 ， 可 以 考虑 部 分 用 户 降级 ， 然 
后 慢 慢 减少 降级 量 ， 后 人 台 通 过 Worker 预 热 绥 和 存 数 据 。 


也 束 古 说 ， 如 果 整 个 缓存 集群 坏 了 了， 而 且 没 有 和 备份， 那么 只 能 慢 慢 将 绥 
存 重 建 。 为 了 让 部 分 用 户 还 是 可 用 的 ， 可 以 根据 系统 承受 能 力 ， 通 过 降 
级 方案 让 一 部 分 用 户 先 用 起 来 ， 将 这 些 用 户 相 关 的 绥 存 重建 。 另 外 ， 通 
过 后 人 台 Worker 进 行 绥 存 数据 的 预 热 。 


12 ”连接 闻 线 程 闻 评 解 


在 应 用 系统 开 友 过 程 中 ， 我 们 经 党 会 用 到 池 化 技术 ， 如 对 象 池 、 连 接 
池 、 线 程 池 等 ， 通 过 池 化 来 减少 一 些 消 耗 ， 以 提升 性 能 。 对 象 池 通过 复 
用 对 象 从 而 减少 创建 对 象 、 垃 圾 回收 的 开销 ， 但 是 ， 池 不 能 太 大 ， 太 大 
会 影响 GC 时 的 扫 拉 时间。 连接 池 如 数据 库 连 接 池 、Redis 连 接 凶 、HTTP 
连接 池 ， 通 过 复 用 TCP 连 接 来 减少 创建 和 释放 连接 的 时 间 来 捉 升 性 能 。 
线程 季 也 是 茯 似 的 ， 通 过 复 用 线程 捉 升 性 能 。 也 吏 是 说 池 化 的 目的 吏 是 
通过 复 用 拉 术 提升 性 能 。 

池 化 可 以 使 用 Apache commons-pool 2 来 实现 ， 比 如 DBCP、Jedis 连 接 池 
都 是 使 用 commons-pool 2 实现 的 ， 最 狐 的 版 本 是 2.4.2。 男 外 ， 不 建议 再 
使 用 commons-pool ”1.x 版 本 。 而 笔者 也 在 工作 中 写 过 自己 的 连接 闻 fast- 
pool 以 适应 我 们 的 场景 。 本 文 主 要 讲解 数据 库 连 接 池 DBCP、HTTP 连 接 
池 HttpClient 和 线程 池 。 


12.1 数据 库 连 接 池 


数据 库 连 接 池 有 很 多 实现 ， 如 C3P0、DBCP、Druid 等 。 笔 者 用 得 最 多 的 
是 Druid 和 DBCP。 本 文 将 以 commons-dbcp 2 2.1.1 作 为 示例 进行 讲解 。 


12.1.1 DBCP 连 接 池 配置 


<bean id="dataSource" 


class="org.apache.commons.dbcp2.BasicDataSource" 
destroy-method-"close"» 


«1-- 数据 库 连 接 相关 配置 CURL. HP. WEB. WA Query. AUN E) --» 


<property name-"url" value=""/> 

«property name-"username" value-""/s 

<property name-"password" value=""/> 

<!-- Statement 默认 超时 时 间 ， 单 位 : 秒 --> 

<property name-"defaultQueryTimeout" value="3"/> 
<!-- 默认 是 否 目 动 提交 事务 ， 默 认为 true --> 


<property name-"defaultAutoCommit" value="false"/> 


<!- 数 据 库 连接 属性 〈 不 同 的 数据 库 配 置 不 一 样 ) --> 
<property name-"connectionProperties" 
value-"connectTimeout-2000; socketTimeout-2000 "/» 


«1-- 连接 池 队 列 类 型 默认 为 LIFO，false 表示 FIFO --> 


<property name-"lifo" value="false"/> 


<1-- 建 议 以 下 全 尽量 一 梓 ， 没 必要 频 头 地 过 期 空 采 连接 〈 除 非 出 现 连接 池 资 源 么 缺 等 情况 ， 
才 可 以 考虑 ) --» 


«property name-"initialSize" value="80"/> 
<property name-"minIdle" value="80"/> 
<property name-"maxIdle" value="80"/> 
<property name="maxTotal" value="80"/> 


<!-- 这 是 等 待 获取 连接 池 连 接 时 间 ， 也 不 要 太 大 ， 比 如 设置 在 500 毫秒 --> 


<property name-"maxWaitMillis" value="500" /> 


<! 一 验证 数据 库 连 接 是 省 有 效 / 可 用 --» 

«1-- 从 池 中 获取 连接 时 进行 validateConnection, MUX true --> 
<property name="testOnBorrow" value-"true"/» 

<!-- 新 建 连接 时 进行 validateConnection, RUA false --> 
<property name="testOnCreate" value="false"/> 

«1-- 将 连接 释放 回 池 时 进行 validateConnection, UX false --> 


«property name-"testOnReturn" value-"false"/» 


«1-- 如 果 不 设置 ， 则 将 调用 ConnectionfisValid(int timeout) 验证 数据 库 是 


«property name="validationQuery" value=""/> 
<!-- 连接 存活 的 最 长 时 间 ，<=0 禁用 该 配置 --> 


«property name="maxConnLifetimeMillis" value="0"/> 


<“!-- 驱除 定时 器 执行 周期 ，<=0 表示 禁用 --> 


1 


有 


<property name-"timeBetweenEvictionRunsMillis" value="0" /> 

«1-- 连接 空 亲 多 久 从 池 中 驱除 ，<=0 不 做 判断 --> 

<!-- minldle < 当前 空闲 连接 数量 ， 使 用 这 个 时 间 测 试 --> 

<property name-"softMinEvictableIdleTimeMillis" value="0"/> 

<!-- 连接 空 亲 多 和 久 从 池 中 驱除 , 与 softMinEvictableIdleTimeMillis 是 或 关系 --> 

<property name-"minEvictableIdleTimeMillis" value="0" /> 

«1-- 每 次 测试 多 少 空 采 对 象 ，<=0 MSPS --> 

<property name-"numTestsPerEvictionRun" value="0" /> 

«1-- Sea IA ERWA MARRE- HF, AC UE ae AY --> 

<property name-"testWhileIdle" value-"false"/» 

«1-- 判断 连接 是 否 需要 驱除 的 策略 ， 默 认为 DefaultEvictionPolicy --> 

<property name-"evictionPolicyClassName" value-"org.apache.commons. 
pool2.impl.DefaultEvictionPolicy"/» 


<!-- 移 除 无 引用 连接 (那些 没有 close 的 连接 )， 此 处 设置 为 fal se， 需 要 保证 程序 中 连 
接 一 定 释放 --> 

<property name-"removeAbandonedOnBorrow" value="false"/> 

<property name-"removeAbandonedOnMaintenance" value-"false"/» 


«1-- 超时 后 将 目 动 关闭 无 引用 连接 ， 单 位 : 秒 --> 


<property name="removeAbandonedTimeout" value="10"/> 


</bean> 


1. 数 据 库 连接 配置 


配置 数据 库 连 接 URL Curl) 、 用 户 名 (username) . 2449 

(password) 、 Statement 默 认 超时 时 间 CdefaultQueryTimeout) 、 事 务 
目 动 提交 CdefaultAutoCommit) 、 数 据 库 连接 属性 

(connectionProperties， 配 置 如 连接 超时 E A S ds eA PE, qn] 
以 在 JDBC UREL 后 面 通过 “?propName=propValue” 配 置 
connectionProperties， 更 多 参数 请 参考 
http://dev.mysql.com/doc/connector-j/5.1/en/connector-j-reference- 
configuration-properties.ht ml) 。 


2. 池 配置 


配置 连接 池 队 列 类 型 Uifo〉 是 采用 LIFO 还 是 FIFO 获 取 连 接 ， 默 认为 
FIFO. 


其 配置 项 包括 初始 大 小 (initialSize)、 最 小 空 闪 大 小 CminIdle) 、 最 大 
Z TAK’) Cmaxidle) 、 最 大 大 小 GmaxTotal) 。 连 接 如 果 不 使 用 则 会 进 
入 衬 采 ， 因 此 ， 衬 朵 连接 可 以 根据 实际 情况 保持 存活 。 如 交易 系 统 基 本 
— vem 可 以 考虑 将 如 上 的 几 个 配置 设置 为 一 样 ， 减 少 过 
期 操作 。 


还 有 一 个 maxWaitMillis， 用 于 配置 当 数 据 库 连接 池 没 可 用 连接 时 的 最 大 
等 待 时 间 ， 当 超时 后 将 殷 出 异常 。 
3. 验 证 数据 库 连 接 有 效 性 


有 三 种 办 法 : 主动 测试 (创建 连接 上 时、 获取 连接 上 时、 释放 连接 时 ) 、 定 
时 测试 《通过 定时 右 定 期 测试 ) 、 关 闭 孤 儿 连 接 。 使 用 配置 的 
validationQuery( 如 果 不 配置 默认 调用 Connection##isValid 进 行 验 证 ) 和 和 
maxConnLifetimeMillis (连接 生存 的 最 长 时 间 〉 来 验证 连接 是 人 耕 可 用 。 


主动 测试 


testOnBorrow 是 获取 连接 时 测试 ，testOnCreate 是 创建 连接 时 测试 ， 
testOnReturn 是 释放 连接 时 测试 ， 测 斌 代码 如 下 。 


public boolean validateObject (PooledObject<PoolableConnection> p) 


} 


| 


try { 
validateLifetime (p); 
validateConnection(p.getObject()); 
return true; 

) catch (Exception e) { 


return false; // 表 明 当 前 连接 要 释放 /销毁 


/ /验证 连接 的 最 大 生存 时 间 ， 如 果 配 置 了 而 且 超 出 了 最 大 生存 期 ， 则 抛 出 异常 


private void validateLifetime (PooledObject<PoolableConnection> p) 


throws Exception { 


if (maxConnLifetimeMillis > 0) { 
long lifetime = System.currentTimeMillis() - p.getCreateTime(); 


if (lifetime > maxConnLifetimeMillis) { 
throw new LifetimeExceededException (Utils.getMessage ( 
"connectionFactory.lifetimeExceeded", 


Long.valueOf(lifetime), 
Long. valueOf (maxConnLifetimeMillis) ) ) ; 


| 
/ / BAS UE M Be IE GR P BE E TR » 
/ /(validationQuery 要 配置 为 至 少 返 回 一 行 记录 的 SELECT 185); 
// 如 果 不 配置 ， 则 默认 使 用 ConnectionfisValid(int timeout) 测 试 
public void validateConnection(PoolableConnection conn) 
throws SQLException { 


if(conn.isClosed()) { 


throw new SQLException ("validateConnection: connection closed"); 


} 


conn.validate( validationQuery,  validationQueryTimeout); 


MySQL ”Connector 也 提供 了 autoReconnect 和 autoReconnectForPools 配 合 
maxReconnects 来 实现 重 连 。 


if ((this.autoReconnect.getValue()) 
&& (this.autoCommit || this. autoReconnectForPools.getValue()) 
&& this.needsPing && !isBatch) { 
try { 
pingInternal (false, 0); 
this.needsPing = false; 
} catch (Exception Ex) { 
createNewIO (true); 


| 


在 每 次 执行 SQL 之 前 根据 配置 进行 一 次 ping 汕 试 。 很 多 人 在 数据 库 连 接 
URL 上 都 配置 了 此 参数 ， 但 MySQL 官方 不 推荐 这 种 做 法 ， 而 是 推荐 通 
过 如 DBCP2 使 用 testOnBorrow 在 获取 连接 时 只 进行 一 次 测试 。 
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<=0， 则 表示 禁用 ， 配 置 代码 如 下 所 示 


( BaseGenericObjectPoolZstartEvictor) . 


if (delay > 0) { 
evictor = new Evictor(); 
EvictionTimer.schedule(evictor, delay, delay); 


} 


EvictionTimer 是 static， 因 此 一 个 ClassLoader 将 只 有 一 个 Timer 进 行 调 


度 ， 主 要 做 以 下 两 件 事 情 。 


LEY 4 
evict();//1. 执行 Evict 任务 


} catch(Exception e) 1 


ET A 
ensureMinIdle();//2. 确保 连接 池 最 小 空闲 连接 数 
} catch (Exception e) { 


swallowException (e); 


} 


Evict 任 务 主要 有 以 下 几 件 事情 执行 (GenericObjectPool#evict) 
/ /获取 每 次 任务 处 理 的 连接 数量 (防止 连接 池 配 置 过 大 ， 任 务 执行 过 长 ) 


private int getNumTests() { 
int numTestsPerEvictionRun = getNumTestsPerEvictionRun(); 
if (numTestsPerEvictionRun >= 0) { 


return Math.min(numTestsPerEvictionRun, idleObjects.size()); 
} else { 
return (int) (Math.ceil(idleObjects.size() / 
Math.abs((double) numTestsPerEvictionRun))); 


—— 
P 


RAA H]EvictionPolicy CA NDefaultEvictionPolicy) 判断 当前 连接 
= 
前 


要 被 释放 。 


evict = evictionPolicy.evict(evictionConfig, underTest, 
idleObjects.size()); 
if (evict) | 
destroy (underTest); 


DefaultEvictionPolicy#evict 
public boolean evict ( 
EvictionConfig config, PooledObject<T> underTest, int idleCount) { 
/ /如 果 当 前 连接 的 空间 时 间 大 于 softMinEvictableIdleTimeMillis 
// 且 当前 空 采 连接 大 于 配置 的 最 小 空闲 连接 ， 
/ /或 者 当前 连接 的 空 几 时 间 大 于 minEvictableIdleTimeMil1lis， 则 表示 需要 释放 连接 
if ((config.getIdleSoftEvictTime() < underTest.getIdleTimeMillis() 
&& config.getMinIdle() « idleCount) 
|| config.getIdleEvictTime() < umerTest.getIdleTimeMillis()) { 
return true; 
} 


return false; 


可 以 配置 evictionPolicyClassName 来 定义 个 性 化 释放 策略 。 


如 果 配 置 了 testWhileIdle=true， 则 会 调用 factory.validateObject(underTest) 
进行 连接 可 用 测试 。 
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如 果 获 取 连 接 后 一 直 没 有 释放 回 池 中 ， 即 该 连接 泄露 了 ， 如 果 不 天 闭 的 
话 ， 则 会 造成 数据 库 连 接 被 用 完 ， 因 此 ， 可 以 考虑 配置 
removeAbandoned* 进 行 天 闭 抓 儿 连 接 。 不 过 不 建议 配置 ， 把 代码 写 健壮 
吧 。 


12.1.2 DBCP 配 置 建议 


如 朵 并 友 量 大 则 建议 ， 几 个 池 大 小 设置 为 一 样 ， 茶 用 关闭 堆 儿 连接 ， 痊 
用 定时 硕 。 配 置 简 化 为 如 下 代码 。 


<bean id="dataSource" 
class="org.apache.commons.dbcp2.BasicDataSource" 
destroy-method="close"> 
<!— Aif url username password --> 
«property name-"defaultQueryTimeout" value-"3"/» 
<property name-"defaultAutoCommit" value="false"/> 
<property name="connectionProperties" 
value="connectTimeout=2000; socketTimeout=2000 "/> 
<property name="testOnBorrow" value="true"/> 
<property name-"lifo" value="false"/> 
<! 一 省 略 池 配置 ( 池 大 小 设置 为 都 一 样 ) --> 
<property name="maxWaitMillis" value="500" /> 
<property name="timeBetweenEvictionRunsMillis" value="0" /> 
</bean> 


如 条 并 及 量 不 大 则 建议 : 可 以 投 需 设置 池 大 小 ， 茶 用 关闭 抓 儿 连接 ， 局 
用 定时 右 (注意 MySQL 空 闻 连 接 8 小 时 自动 断 开 〉。 配 置 简 化 为 如 下 代 
A, 


<bean id="dataSource" 

class-"org.apache.commons.dbcp2.BasicDataSource" 
destroy-method="close"> 

<! 一 省 略 url username password --> 

<property name-"defaultQueryTimeout" value="3"/> 

<property name-"defaultAutoCommit" value="false"/> 

<property name="connectionProperties" 

value="connectTimeout=2000; socketTimeout=2000 "/> 

<property name="testOnBorrow" value="false"/> 

<property name="lifo" value="false"/> 

<! 一 省 略 池 配置 ( 池 大 小 设置 为 都 一 样 ) --» 

<property name="maxWaitMillis" value="500" /> 

<property name-"timeBetweenEvictionRunsMillis" value="3600000"/> 

<property name="numTestsPerEvictionRun" value="80" /> 


«property name-"testWhileIdle" value="true"/> 
</bean> 


不 管 你 用 哪 种 方式 都 要 记得 设置 超时 时 间 ， 在 JVM 关 闭 / 重 局 时 一 定 要 
销毁 连接 池 (bean 配 置 destroy-method="close") ， 因 为 如 果 没 有 加 
destroy-method  ， 而 且 重 局 次 数 太 频 索 ， 将 造成 重 局 tomcat 后 旧 的 数据 
库 连 接 池 的 连接 不 释放 ， 这 样 会 有 很 多 数据 库 连 接 在 一 段 时 间 内 不 释 
放 ， 造 成 司 动 后 无 法 建立 连接 。 


如 下 是 我 们 实际 工程 的 配置 ， 已 经 将 参数 部 默认 化 了 。 


<ds:datasource 
id-"orderDataSource" 
url-"S$í(mysql.order.url)]" 
username-"S$í(mysql.order.username]" 
password-"S$(mysql.order.password]" 
max-pool-size-"50"/» 


对 于 MySQL， 因 为 设置 了 Statement 超 时 时 间 ， 超 时 则 要 杀 掉 
Statement。MySQL 通 过 Timer 去 完成 这 件 事 情 ， 每 个 连接 创建 时 会 创建 
一 个 Timer， 执 行 Statement 时 给 Timer 分 配 一 个 任务 ， 超 时 则 要 杀 掉 该 
Statement. 


timeoutTask = new StatementImpl.CancelTask (this); 
/ / Timer 是 惰性 创建 


conn.getCancelTimer().schedule(timeoutTask, (long)this.queryTimeout * 
LOU) I 


CancelTask 会 局 动 一 个 新 线程 来 执行 如 下 逻辑 。 


if (queryTimeoutKillsConnection == true) { 
//force close connection 
} else { 
//send “KILL QUERY ConnectionId” to mysql 
} 


如 未 我 们 配置 了 <property 


name-"connectionProperties"value-"query TimeoutKills 
Connection-true"/», Jb Erg BIXEB:. Bi false, ABI ele 
狐 连 接 ， 然 后 执行 “KILL QUERY connectionId" KA PHIL T 23 BAT 
的 SQL。 


12.1.3 ”数据 库 驱 动 超时 实现 

MySQL 驱 动 在 创建 每 个 连接 时 会 创建 一 个 Timer( 每 个 Timer 是 一 个 
Thread) 。 人 然后 每 个 连接 中 创建 的 每 个 Statement 会 提交 一 个 

TimerTask (超时 则 每 个 Task 在 执行 时 会 创建 并 启动 ES HJThread) . 


也 就 是 说 ， 假 设 一 个 数据 库 连 接 池 创建 了 500 个 连接 ， 每 个 连接 执行 1 个 
statement， 最 坏 的 情况 下 会 创建 : 


500x1+500x1=1000 个 线程 。 
假设 一 个 应 用 中 有 三 个 MySQL 数 据 库 连 接 池 ， 最 坏 情况 下 有 : 
1000x3=3000 个 线程 创建 。 


oa 人 分离， 那么 超时 珊 来 的 影 啊 可 想 而 
Ho 





每 个 ClassLoader 一 个 watchdog 线程 (类 似 


于 MySQL 的 timer) 。 每 个 Statement 一 个 Task， 而 线程 是 在 watchdog 需 
要 取消 时 去 触 友 的 ， 即 watchdog 发 现 该 Statement 需 要 cancel 时 ， 调 用 其 
菏 个 方法 ， 该 方法 快速 创建 线程 并 运行 。 


也 就 是 ， 说 假设 我 们 有 500 个 连接 池 ， 每 个 连接 执行 1 个 Statement， 最 坏 
的 情况 下 会 创建 : 


1+500x1=501 个 线程 。 
假设 一 个 应 用 中 有 三 个 MySQL 库 ， 那 么 最 坏 情 况 下 有 : 


1 + 500x3=1501 个 线程 创建 。 


12.1.4 ”连接 闻 使 用 的 一 些 建 议 


一 是 要 注 是 网 络 阻 材 / 人 不 稳定 时 的 级 联 效 应 《比如 笔者 与 的 ssdb-client 在 
网 络 出 现 故 障 如 网 络 不 可 用 时 ， 会 设置 一 个 时 间 ， 在 这 个 时 间 内 的 请 求 
全 部 timemout) 。 连 接 凶 内 部 应 该 根据 当前 网 络 的 状态 《比如 超时 次 数 
KE) ， 对 于 一 定时 间 内 的 〈 如 100ms) 全 部 timeout， 根 本 不 进行 
await(maxWait), Bl A K Bp REP ACD Lt 


还 有 了 吏 是 当前 等 竺 连接 凶 的 人 数 ， 比 如 现在 等 竺 1000 个 ， 那 么 搂 下 来 的 
等 得 是 没有 意义 的 ， 这 样 还 会 造成 滚雪球 效应 。 


二 是 等 竺 超时 应 该 尽 可 能 小 点 《| 除非 很 必要 ) 。 即 使 返回 错误 页 ， 也 比 
等 等 并 阻 窜 强 。DBCP 比 较 容易 出 的 问题 就 是 设置 超时 时 间 太 长 ， 造 成 
大 量 TIMED_WAIT 和 线程 阻塞 ， 而 且 像 滚雪球 ， 一 旦 出 问题 很 难 立 即 

恢复 ， 但 可 以 通过 上 文中 的 方案 解决 。 


本 文通 过 DBCP 2 解释 了 在 使 用 连接 池 时 要 注意 的 一 些 参数 配置 ， 不 管 
使 用 什么 连接 池 组 件 ， 其 原理 基本 类 似 。 如 果 你 对 性 能 退 求 没有 那么 极 
致 ， 则 使 用 DBCP 2 已 经 够 用 了 。 如 果 你 对 性 能 要 求 非常 高 ， 可 以 用 阿 
里 开源 的 Druid， 或 者 号 称 性 能 最 好 的 Java 数 据 库 连接 池 HikariCP 等 ， 笔 
者 在 实际 项 目 中 使 用 较 多 的 是 Druid。 


12.2 HttpClienti $t 


在 实际 项 目 中 ， 我 们 使 用 HttpClient 进 行 HTTP 服 务 访 问 ， 笔 者 用 过 
HttpClient 3.xX、4.x。 目 前 最 新 版 本 是 5X《〈 官 方 文档 说 5.x 未 来 会 加 入 
HTTP/2 作 为 主要 传输 协议 ) 。 而 3.x、4.x 和 5.x API 是 完全 不 兼容 的 ， 用 
起 来 很 痛 亩 。4.3.x 和 4.2.x API 也 有 一 些 升级 ， 但 是 问 后 兼容 。 本 文 将 介 
绍 4.5.2、4.2.3、3.1 这 三 个 版 本 的 连接 池 配 置 和 一 些 问题 。 


12.2.1 HttpClient 4.5.2 配 置 


static PoolingHttpClientConnectionManager manager = null; 
static CloseableHttpClient AttpClient = null; 
public static synchronized CloseableHttpClient getHttpClient() { 
if (httpClient == null) { 
/ /注册 访 问 协议 相关 的 Socket 工厂 
Registry«ConnectionSocketFactory» socketFactoryRegistry = 
RegistryBuilder.«ConnectionSocketFactory»create() 
.register("http", PlainConnectionSocketFactory.INSTANCE) 
.register ("https", 
SSLConnectionSocketFactory.getSystemSocketFactory()) 
.build(); 
//HttpConnection LJ : MESK / fe prin hy AP FE S 
HttpConnectionFactory«HttpRoute, ManagedHttpClientConnection> 
connFactory = new ManagedHttpClientConnectionFactory ( 
DefaultHttpRequestWriterFactory.INSTANCE, 
DefaultHttpResponseParserFactory.INSTANCE); 
/ /DNS 解析 器 
DnsResolver dnsResolver = SystemDefaultDnsResolver.INSTANCE; 
/ OEWER E Ea 
manager = new PoolingHttpClientConnectionManager ( 
SocketFactoryRegistry, connFactory, dnsResolver); 


// 默 认为 Socket 配置 

SocketConfig defaultSocketConfig = SocketConfig.custom() 
.setTcpNoDelay(true).build(); 

manager.setDefaultSocketConfig (defaultSocketConfig) ; 


manager.setMaxTotal (300) ;// 设 置 整个 连接 池 的 最 大 连接 数 

// 每 个 路 由 的 默认 最 大 连接 ， 每 个 路 由 实际 最 大 连接 数 默认 为 
//DefaultMaxPerRoute 控制 ， 而 MaxTotal 是 控制 整个 池子 最 大 数 

// 设 置 过 小 无 法 支持 大 并 发 (ConnectionPo0]TimeoutException: 

//Timeout waiting for connection from pool)， 路 由 是 对 maxTotal 的 细 分 
manager.setDefaultMaxPerRoute (200); // 每 个 路 由 最 大 连接 数 

// 在 从 连接 池 获 取 思 接 时 ， 连 接 不 活跃 多 长 时 间 后 需要 进行 一 次 验证 ， 和 默认 为 2s 


manager.setValidateAfterInactivity(5 * 1000); 


/7 默认 请 求 配置 

RequestConfig defaultRequestConfig = RequestConfig.custom() 
.SetConnectTimeout(2 * 1000) /77 设置 连接 超时 时 间 ，2s 
.setSocketTimeout(5 * 1000) /7 设置 等 竺 数据 超时 时 间 ，5s 
.SetConnectionRequestTimeout (2000) 
// 设 置 从 连接 池 获 取 连 接 的 等 待 超时 时 间 
.build(); 


// 创 建 HttpClient 
httpClient = HttpClients.custom() 
.setConnectionManager (manager) 
.setConnectionManagerShared(false) // 连 接 池 不 是 共享 模式 
.evictIdleConnections(60, TimeUnit.SECONDS) 
/ /定期 回收 空 闪 连接 
.evictExpiredConnections() /7/ 定 期 回收 过 期 连接 
.SetConnectionTimeToLive(60, TimeUnit.SECONDS) 
/ /连接 存活 时 间 ， 如 果 不 设置 ， 则 根据 长 连接 信息 决定 
:SetDefaultRequestConfig(defaultRequestConfig) 
// 设 置 默认 请 求 配置 
.setConnectionReusestrategy (DefaultConnectionReuseStrategy 
INSTANCE) / /连接 重用 策略 ， 即 是 否 能 keepAlive 
.setKeepAliveStrategy (DefaultConnectionkeepAliveStrategy 
. INSTANCE) // 长 连接 配置 ， 即 获取 长 连接 生产 多 长 时 间 
.SetRetryHandler (new DefaultHttpRequestRetryHandler(0, 
false)) // 设 置 重 试 次 数 ， 默 认 是 3 次 ， 当前 是 禁用 掉 (根据 需要 开启 ) 
.build(); 


// SVM FP AE EK SUBE, QSAR ET GRAUIS FEE PELIS TU 


Runtime.getRuntime().addShutdownHook (new Thread() { 


@Override 
public void run() { 
try { 
httpClient.close(); 
} catch (IOException e) { 
e.printStackTrace(); 


} 


INE. 
} 
return httpClient; 


通过 maxtTotal 和 defaultMaxPerRoute 限 制 ， 每 个 路 由 CIP+PORT) 最 多 
创建 defaultMaxPerRoute 个 连接 ， 且 所 有 路 由 总 连接 数 不 超 过 maxTotal， 
gmaxtTotal 是 整个 池子 的 大 小 ，defaultMaxPerRoute 是 每 个 路 由 的 大 
小 。 比 如 maxtTotal=300、defaultMaxPerRoute=200， 连 接 到 http://jd.com 
时 ， 到 这 个 主机 的 并 发 最 多 只 有 200 而 不 是 400。 连 接 到 http://jd.com 和 
http:/Vqdq.com 时 ， 到 每 个 主机 的 并 有 发 最 多 只 有 200， 但 总 的 并 及 连接 数 为 
300. 


tH n] DG PTT SAT E EH ERU ERE BK) o 


manager.setMaxPerRoute(new HttpRoute(new  HttpHost("jd.com", 80)), 
100); 


setConnectionManager 方 法 用 于 配置 HttpClient 使 用 的 连接 池 ， 而 
setConnectionManagerShared 方 法 用 于 配置 此 连接 池 是 否 在 多 个 
HttpClient 之 间 共 享 〈 默 认为 false) ， 如 有 果 共 享 的 话 ， 那 么 如 
IdleConnectionEvictor 吏 不 能 每 个 HttpClient 一 个 ， 而 只 需要 定义 一 个 即 
Hf. 


通过 evictIdleConnections 和 evictExpiredConnections 方 法 配置 一 个 后 台 线 
程 定 期 释放 过 期 连接 和 空 闪 连接 。HttpClientBuilder 将 创建 
IdleConnectionEvictor 并 定期 进行 过 期 ， 如 果 连 接 池 是 共享 的 ， 多 个 
HttpClient 共 用 一 个 连接 池 ， 则 这 两 个 配置 无 效 。 


if (!this.connManagerShared) {// 只 有 连接 池 是 非 共享 模式 时 


final HttpClientConnectionManager cm = connManagerCopy; 
// 创 建 释放 连接 定时 器 ， 其 测试 周期 使 用 maxIdleTime， 如 有 果 不 配 ， 则 默认 为 5s 
if (evictExpiredConnections || evictIdleConnections) { 
final IdleConnectionEvictor connectionEvictor - 
new IdleConnectionEvictor( 
cm, 
maxIdleTime > 0 ? maxIdleTime : 10, 


maxIdleTimeUnit != null ? 
maxIdleTimeUnit : TimeUnit.SECONDS) ; 
// 添 加 HttpClient#close 回调 ， 当 关闭 HttpClient M, BIRAZ E h a 
closeablesCopy.add(new Closeable() { 
@Override 
public void close() throws IOException { 
connectionEvictor.shutdown () ; 
} 
}); 
connectionEvictor.start(); 
} 
// 添 加 HttpClient£close 回调 ， 当 关闭 HttpClient 时 目 动 关闭 连接 池 
closeablesCopy.add(new Closeable() { 
@Override 
public void close() throws IOException { 
cm. shutdown () ; 


IdleConnectionEvictor 核心 代码 如 下 。 


while (!Thread.currentThread().isInterrupted()) { 
Thread.sleep(sleepTimeMs); 
connectionManager.closeExpiredConnections(); 
if (maxlIdleTimeMs > 0) { 
connectionManager.closeIdleConnections (maxIdleTimeMs, 
TimeUnit.MILLISECONDS) ; 
} 


在 进行 释放 过 期 连接 和 空闲 连接 时 ，IdleConnectionEvictor 会 周期 性 调用 
closeExpiredConnections 和 closeIdleConnections 这 两 个 方法 ， 但 它们 的 实 

现 是 通过 一 把 大 的 锁 锁 住 了 整个 连接 池 ， 然 后 进行 笛 历 。 另 外 ， 建 议 只 
局 用 closeExpiredConnections， 这 需要 HTTP 服 务 生产 者 在 返回 啊 应 中 包 

含 超 时 时 间 “Keep-Alive: timeout=time”， 这 样 承 不 需要 使 用 
closeIdleConnections3t ír WHA ^: WEE T o 


使 用 HttpClient 时 ， 妥 按照 如 下 模式 使 用 。 


HttpResponse response = null; 

EEY 4 
HttpGet get - new HttpGet("http://item.jd.com/2381431.html"); 
response - getHttpClient().execute (get); 
if(response.getStatusLine().getStatusCode() !- HttpStatus.SC OK) | 


EntityUtils.consume(response.getEntity()); 
//error 

} else { 
SET result. = EntityUtils. tostring (| responss..gerenti cy ()) > 
//ok 

} 

) catch (Exception e) { 

if(response !- null) { 

EntityUtils.consume(response.getEntity()); 


} 


要 使 用 EntityUtils.consume(response.getEntity()) 或 者 EntityUtils.toString 
(response.getEntity()) 7H R m vs, ME HttpEntity#getContent#close 77 
法 来 释放 和 连接， 处 理 不 好 寞 向 将 导致 连接 不 释放 ， 也 不 推荐 使 用 
CloseableHttpResponse#closeX MIE, ERARA H Socket, SBR 
接 不 能 复 用 。 


须要 注意 的 征 : 


”在 开局 长 连接 时 才 是 真正 的 连接 池 ， 如 果 是 短 连接 ， 则 只 是 作为 一 个 
信号 量 来 限制 总 请 求 效 ， 连 接 并 没有 实现 复 用 。 


:JVM 在 停止 或 重启 时 ， 记 得 关闭 连接 池 释 放 连 接 。 
HttpClient 是 线程 安全 的 ， 不 要 每 次 使 用 创建 一 个 。 


”如 果 连 接 池 配置 得 比较 大 ， 则 可 以 考虑 创建 多 个 HttpClient 实 例 ， 而 不 
是 使 用 一 个 HttpClient 实 例 。 


———— ， 要 尽快 消费 啊 应 体 并 释放 连接 到 连接 池 ， 不 要 你 持 太 


12.2.2 ”HttpClient 连 接 池 源码 分 析 
JERE SCE ARES (MainClientExec#execute) 。 
//1. 发 送 请 求 并 接收 啊 应 


response = requestExecutor.execute(request, managedConn, context); 


//2. FM iE Ae KE, BURIED 
if (reuseStrategy.keepAlive(response, context)) { 
//3. SkKBUS EBEN J8 39]. CUR TIC dix oc ELS RA ak 
final long duration = keepAliveStrategy.getKeepAliveDuration (response, 
context); 
//4. 设置 过 期 周期 ， 并 标记 连接 为 可 复 用 
connHolder.setValidFor(duration, TimeUnit.MILLISECONDS); 
connHolder.markReusable(); 
} else {// 标 记 连 接 不 可 复 用 
connHolder.markNonReusable(); 


} 


接 下 来 ， 看 看 哪些 连接 可 以 复 用 


( DefaultConnectionReuseStrategyZkeepAlive) . 
- 如 果 有 啊 应 头 “Transfer-Encoding” 用 不 是 “chunked”， 则 不 能 复 用 。 
- 如 果 没 有 响应 头 “Transfer-Encoding”， 如 果 啊 应 状态 但 为 status >= 


HttpStatus.SC OK && status != HttpStatus.SC NO CONTENT && 
status != 


HttpStatus.SC NOT MODIFIED 人 status I= 
HttpStatus.SC_RESET CONTENT, 


如 各 没有 啊 应 头 “Content-Length”， 则 不 能 复 有 用， 如果 啊 应 头 为 
*Content-Length"»- 0, WHA, Au AKER. 


- 啊 应 头 “Connection” 或 “Proxy-Connection” 为 “Close” 不 能 复 用 。 


-HTTP/.1 即 使 没有 响应 头 “Connection:Keep-Alive”， 默 认 就 可 复 用 ;， 而 
HTTP/1.0 必 须 有 啊 应 头 “Connection:Keep-Alive” 才 能 复 用 。 


过 期 时 间 是 通过 获取 啊 应 头 “Keep-Alive: timeout=time” 中 的 time 实 现 
的 ， 默 认 实 现 为 DefaultConnectionKeepAliveStrategy。 


当 我 们 使 用 EntityUtils 消 彝 内 容 时 (如 用 consume 方 法 ) ， 会 将 连接 释放 
回 连接 闻 ， 这 也 是 为 什么 让 大 家 获取 到 啊 应 后 尽快 消费 的 原因 ， 在 释放 
连接 时 有 有 如 下 代码 。 


if (reusable) {//1. 如 果 可 以 复 用 ， 则 释放 到 池 中 

this.manager.releaseConnection( 

rthis.managedConn, this.state, this.validDuration, Lthis,tunit); 

) else (//2. 不 可 以 复 用 

//2.1 关 闭 物理 连接 CB Socket) 

this.managedConn.close(); 

/ /2.2 连接 还 是 会 释放 到 池 中 《按照 之 前 说 的 驶 是 一 个 信号 量 的 作用 ， 

// 且 物理 连接 每 次 都 关闭 ) 

this.manager.releaseConnection( 

this.managedConn, null, 0, TimeUnit.MILLISECONDS); 


12.2.3 HttpClient 4.2.3 配 置 


如 下 是 HttpClient 4.2.3 配 置 。 


public static synchronized HttpClient getHttpClient() { 
if (httpClient == null) { 
// 设置 组 件 参 数 ，HTTP 协议 的 版 本 ,1.1/1.0/0.9 


HttpParams params = new BasicHttpParams(); 


/ /设置 连 护 超 时 时 间 
Integer CONNECTION TIMEOUT = 2 * 1000;  ”// 设 置 请 求 超时 为 2s 
Integer SO TIMEOUT = 2 * 1000; // 设 置 等 待 数据 超时 时 间 为 5s 
Long CONN MANAGER TIMEOUT = 1L * 1000; 
/ | E. X. f 4M ClientConnectionManager 中 检索 ManagedClientConnection 
/7 实例 时 使 用 的 坚 秘 级 的 超时 时 间 
params.setIntParameter (CoreConnectionPNames.CONNECTION TIMEOUT, 
CONNECTION TIMEOUT) ; 
params.setIntParameter (CoreConnectionPNames.SO TIMEOUT, 
SO TIMEOUT) ; 
// 在 提交 请 求 之 前 测试 连接 是 否 可 用 


params.setBooleanParameter(CoreConnectionPNames.STALE CONNECTION CHECK, 
true); 

// 这 个 参数 期 望 得 到 一 个 java.lang.Long 类 型 的 值 。 如 果 这 个 参数 没有 被 设置 ， 

// 则 连接 请 求 就 不 会 超时 〈 无 限 大 的 超时 时 间 ) 

params.setLongParameter (ClientPNames.CONN MANAGER TIMEOUT, 
CONN MANAGER TIMEOUT) ; 

PoolingClientConnectionManager conMgr =new PoolingClientConnection 
Manager () ; 

conMgr.setMaxTotal (300) ;// 设 置 最 大 连接 数 

// 征 每 个 路 由 的 默认 最 大 连接 

conMgr.setDefaultMaxPerRoute (100) ; 

// 设 置 访问 协议 

conMgr.getSchemeRegistry().register(new Scheme("http", 80, 
PlainSocketFactory. getSocketFactory())); 

conMgr.getSchemeRegistry().register(new Scheme("https", 443, 
SSLSocketFactory.getSocketFactory())); 

httpClient = new DefaultHttpClient(conMgr, params); 

httpClient.setHttpRequestRetryHandler (new 
DefaultHttpRequestRetryHandler(0, false)); 

httpClient.setKeepAliveStrategy (new 
DefaultConnectionKeepAliveStrategy()); 

manager - conMgr; 

} 
return httpClient; 


HttpClient ”4.2.3 默 认 没 有 提供 IdleConnectionEvictor， 需 要 日 己 实 现 。 
HttpClient 3.x 束 个 介绍 了 ， 因 为 其 使 用 synchronized+wait+notifyAll。 现 


在 存在 两 个 问题 ， 量 大 时 synchronized 慢 且 notifyAll 可 能 造成 线程 饥饿 。 
httpclient 4.x 使 用 ReentrantLock CERA EZ.) + Condition 〈 每 个 线程 
一 个 ) 。 在 笔者 机 器 上 Gdk1.6.0_43) 测试 结果 锁 的 优势 明显 比较 大 。 


1x synchronized 1j with 32 threads took 2.621 seconds 
1x Lock.lock()/unlock() with 32 threads took 1.951 seconds 
1x synchronized 1j with 64 threads took 2.621 seconds 


1x Lock.lock()/unlock() with 64 threads took 1.983 seconds 


12.2.4 ”问题 示例 


此 处 有 一 个 库存 项 目的 例子 ，HttpClient 一 天 并 发 量 在 1500 万 左右 ， 峰 
值 每 秒 7 万 。 在 之 前 使 用 过 程 中 ， 一 直 存 在 大 量 的 如 下 提示 。 


org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting f 
or connection from pool 

atorg.apache.http.impl.conn.PoolingClientConnectionManager.leaseConnec 
tion (PoolingClientConnectionManager.java:232) 

atorg.apache.http.impl.conn.PoolingClientConnectionManager$1.getConnec 
tion (PoolingClientConnectionManager.java:199) 

at org.apache.http.impl.client.DefaultRequestDirector.execute (DefaultR 
equestDirector.java:456) 


通过 jstack 但 看 线程 ， 会 发 现 如 下 代码 。 


"pool-21-thread-3" prio-10 tid=0x00007f6b7c002800 nid=0x40ff waiting on 
condition [0x00007£6b37020000] 

java.lang.Thread.State: TIMED WAITING (parking) 

at sun.misc.Unsafe.park(Native Method) 

= parking to wait for «00000000f97918b8» (a ava.util.concurrent.locks. 
AbstractQueuedSynchronizerS$ConditionObject) 

at java.util.concurrent.locks.LockSupport.parkUntil (LockSupport.java:239) 

at java.util.concurrent.locks.AbstractQueuedSynchronizerS$ConditionObject. 
awaitUntil (AbstractQueuedSynchronizer.java:2072) 


at org.apache.http.pool.PoolEntryFuture.get (PoolEntryFuture.java:100) 
at org.apache.http.impl.conn.PoolingClientConnectionManager. 
leaseConnection (PoolingClientConnectionManager.java:212) 


原因 是 因为 使 用 了 连接 池 ， 但 连接 不 够 用 ， 造 成 大 量 的 等 每 。 而 且 这 种 
等 每 都 有 滚雪球 的 效应 (和 交易 组 之 前 使 用 的 apache common dbep Œ 
的 风险 是 类 似 的 ) 。 当 时 使 用 的 是 HttpClient 3.1， 我 们 升级 到 了 4.2.3。 

而 且 当 时 出 问题 的 一 个 原因 是 使 用 人 员 对 参数 不 了 解 ， 随 意 设 置 其 值 ， 

不 出 现 问 题 则 好 ， 出 现 问 题 很 难 排 查 到 原因 。 因 此 ， 建 议 大 家 按照 本 文 
说 的 进行 参数 设置 。 


LA — Ing ERequestConfigSA i JT Ja T Hs scs 

(contentCompressionEnabled) ， 其 会 注册 RequestAcceptEncoding (A 
BUS liti SK k Accept-Encoding: gzip,deflate) 和 
ResponseContentEncoding 〈 上 自动 解压 并 移 除 啊 应 头 Content-Length、 
Content-Encoding、Content-MD5) ， 所 以 通过 HttpResponse 获 取 不 到 这 
几 个 啊 应 头 也 不 要 奇怪 。 如 采 需 要 这 几 个 头 ， 则 可 以 写 上 自己 的 
HttpResponseInterceptor 拦 堆 需 进行 处 理 。 


12.3 ”线程 池 


线程 池 的 目的 类 似 于 连接 池 ， 通 过 减少 频繁 创建 和 销毁 线程 来 降低 性 能 
损耗 。 每 个 线程 都 需要 一 个 内 存 栈 ， 用 于 存储 如 局 部 变量 、 操 作 栈 等 信 
轧 ， 可 以 通过 -Xss 参 数 来 调整 每 个 线程 栈 大 小 〈64 位 系统 默认 
1024KB， 可 以 根据 实际 情况 调 小 ， 比 如 256KB) ， 通 过 调整 该 参数 可 
以 创建 更 多 的 线程 ， 不 过 JVM 不 能 无 限制 地 创建 线程 ， 通 过 使 用 线程 池 
可 以 限制 创建 的 线程 数 ， 从 而 保护 系统 。 线 程 池 一 般配 合 队 列 一 起 工 
作 ， 使 用 线程 池 限 制 并 发 处 理 任 务 的 数量 。 然 后 设置 队列 的 大 小 ， 当 任 


务 超 过 队列 大 小 时 ， 通 过 一 定 的 拒绝 策略 来 处 理 ， 这 样 可 以 保护 系统 免 
El 只 是 部 分 拒绝 服务 ， 还 是 有 一 部 分 是 可 以 正常 
服务 的 。 


线程 池 一 般 有 核心 线程 池 大 小 和 线程 池 最 大 大 小 配置 ， 当 线程 池 中 的 线 
旦 空 内 一段 时 间 时 将 会 被 回收 ， 而 核心 线程 池 中 的 线程 不 会 被 回收 。 












核心 线程 池 外 的 线程 空闲 
一 段 时 间 后 将 会 回收 


核心 线程 池 的 线程 一 直 存 
在 ， 不 会 被 回收 


多 少 个 线程 合适 呢 ? 建议 根据 实际 业务 情况 来 压 测 决定 ， 或 者 根据 利 特 
尔 法 则 来 算出 一 个 合理 的 线程 池 大 小 ， 其 定义 是 ， 在 一 个 稳定 的 系统 
中 ， 长 时 间 观 察 到 的 平均 用 户 数量 L， 等 于 长 时 间 观 察 到 的 有 效 到 达 速 
率 和 与 平均 每 个 用 户 在 系统 中 花 引 的 时 间 的 乘积 ， 即 L= AW。 但 实际 情 
况 是 复杂 的 ， 如 存在 处 理 超时 、 网 络 抖动 都 会 导致 线程 花费 时 间 不 一 
样 。 因 些 ， 还 要 考虑 超时 机 制 、 线 程 隔离 机 制 、 快 速 失败 机 制 等 ， 来 保 
RR Te A Be a OR ae E TOL TF T o 


Javatitt f ExecutorServiceB^] — FP Sc EM. 

- ThreadPoolExecutor: ”标准 线程 池 。 

- ScheduledThreadPoolExecutor: 支持 延迟 任务 的 线程 池 。 

: ForkJoinPool: 类似 于 ThreadPoolExecutor， 但 是 使 用 work-stealing 模 
式 ， 其 会 为 线程 池 中 的 每 个 线程 创建 一 个 队列 ， 从 而 用 work- 

stealing (ESM) 算法 使 得 线程 可 以 从 其 他 线程 队列 里 贸 取 任务 来 执 


行 。 即 如 果 自己 的 任务 处 理 完成 了 ， 则 可 以 去 忙碌 的 工作 线程 那里 窃取 
任务 执行 。 


12.3.1 Java 线程 池 

使 用 Executors 来 创建 线程 池 。 

1. 创 建 单 线程 的 线程 池 。 

ExecutorService executorService = Executors.newSingleThreadExecutor (); 


等 价 于 


return new FinalizableDelegatedExecutorService 
(new ThreadPoolExecutor(1, 1, 
OL, TimeUnit.MILLISECONDS, 
new LinkedBlockingQueue<Runnable>() ) ) 


2. 创 建 固定 数量 的 线程 池 。 
ExecutorService executorService = Executors.newFixedThreadPool (10); 


等 价 于 


return new ThreadPoolExecutor(nThreads, nThreads, 
OL, TimeUnit.MILLISECONDS, 
new LinkedBlockingQueue<Runnable>()); 


3. 创 建 可 绥 存 的 线程 池 ， 初 始 大 小 为 0， 线 程 池 最 大 大 小 为 
Integer.MAX VALUE。 其 使 用 SynchronousQueue 了 队列， 一 个 没有 数据 组 
冲 的 阻 杜 队列 。 对 其 执行 put 操 作 后 必须 等 竺 take 操 作 消 费 访 数据 ， 反 之 
尔 然 。 葬 线程 池 不 限制 最 大 大 小 ， 如 末 线 程 池 有 至 朵 线程 则 复 用 ， 人 个 则 
会 创建 一 个 新 线程 。 如 条 线程 池 中 的 线程 空 果 60 秒 ， 则 将 被 回收 。 充 线 
旦 默认 最 大 大 小 为 Integer.MAX_VALUE， 请 确认 必要 后 再 使 用 该 线程 
1th 6 


ExecutorService executorService = Executors.newCachedThreadPool (); 


等 价 于 


new ThreadPoolExecutor(0, Integer.MAX VALUE, 
60L, TimeUnit. SECONDS, 
new SynchronousQueue<Runnable>() ) 


A.X FP HEIR AT ere, HAE H DelayedWorkQueue2 WES 3iE3R 


ScheduledExecutorService scheduledExecutorService = 
Executors. newScheduledThreadPool (10); 


4g 


ST 


return new ScheduledThreadPoolExecutor(corePoolSize, Integer.MAX VALUE, 
0, NANOSECONDS, 
new DelayedWorkQueue()); 


5.work-stealingZ& Eyt, AV Jf 11 E 7 jRuntime.getRuntime 
().availableProcessors(). 


ExecutorService executorService = Executors.newWorkStealingPool (5); 


return new ForkJoinPool(parallelism, 
ForkJoinPool.defaultForkJoinWorkerThreadFactory(), 
null, true); 


接 下 来 ， 我 们 来 看 一 下 ThreadPoolExecutor 配 置 。 


corePoolSize: ”核心 线程 池 大 小 ， 线 程 池 维 护 的 线程 最 小 大 小 ， 即 没 
有 任务 处 理 情 况 下 ， 线 程 池 可 以 有 多 个 空闲 线程 ， 类 似 于 DBCP 中 的 


minlIdle. 


: maximumPoolSize: ”线程 池 最 大 大 小 ， 当 任务 数 非 党 多 时 ， 线 程 池 可 
创建 的 最 大 线程 数量 。 


- keepAliveTime: 线程 池 中 线程 的 最 大 空 用 时 则 ， 存 活 时 间 超 过 该 时 
闭 的 线程 会 被 回收 ， 线 程 闻 会 一 直 缩 小 到 corePoolSize 大 小 。 


workQueue: ”线程 池 使 用 的 任务 绥 冲 队列 ， 包 括 有 界 阻 寨 数 组 队列 


ArrayBlockingQueue, 4 I/II HE BÀ /LinkedBlockingQueue. fL 
先 级 阻塞 队列 PriorityBlockingQueue、 无 绥 冲 区 阻塞 队列 
SynchronousQueue。 有 界 阻 塞 队列 须 要 设置 合理 的 队列 大 小 。 


` threadFactory: ”创建 线程 的 工厂 ， 我 们 可 以 设置 线程 的 名 字 、 是 任 是 
后 台 线 程 。 


rejectedExecutionHandler: Sab AIS TBARS, “ELTA 
Abort (直接 抛 出 RejectedExecutionException) ~ Discard (按照 LIFO 于 
j£) . DiscardOldest CZESLRUZ3E) 、CallsRun 〈 主 线程 执行 ) 。 


Spring 也 提供 了 XML 标签 用 来 方便 创建 线程 池 。 一 个 是 : 


«task:executor id-"asyncTaskExecutor" 
pool-size="${executor.pool.size}" 
queue-capacity="S{executor.queue.capacity}" 
keep-alive="60"/> 


Fi es 
«task:scheduler id="scheduler" pool-size="10"/> 
6. 线 程 池 终止 


线程 池 不 再 使 用 后 记得 候 止 挥 ， 可 以 调用 shutdown 以 确保 不 接受 新 任 
务 ， 并 等 竺 线程 池 中 任务 处 理 完 成 后 册 退 出 ， 或 调用 shutdownNow 请 除 
未 执行 任务 ， 并 用 Thread.interrupt 停 止 下 在 执行 的 任务 。 然 后 调用 
awaitTermination 方 法 等 待 终止 操作 执行 完成 ， 代 码 如 下 。 


Runtime.getRuntime().addShutdownHook(new Thread() { 
@Override 
public void run() { 
executorService. shutdown () ; 
executorService.awaitTermination(30, TimeUnit.SECONDS) 


根据 任务 类 型 是 IO 密集 型 还 是 CPU 密集 型 、CPU 核 数 ， 来 设置 合理 的 线 
程 池 大 小 、 队 列 大 小 、 拒 绝 策 略 ， 并 进行 压 测 和 不 断 调 优 来 决定 适合 日 
己 场 景 的 参数 。 


笔者 过 到 过 因为 maximumPoolSize 议 置 的 过 大 导致 瞬间 线程 数 非 钊 多 。 
还 有 使 用 如 Executors.newEixedThreadPool 时 ， 因 没有 设置 队列 大 小 ， 默 
认为 Integer.MAX_VALUE， 如 果 有 大 量 任务 被 缓存 到 
LinkedBlockingQueue 中 等 每 线程 执行 ， 则 会 出 现 GC 慢 等 问题 ， 造 成 系 
统 啊 应 悍 甚 至 OOM。 因 此 ， 在 使 用 线程 池 时 务必 须 设置 池 关 小 、 队 列 
大 小 并 设置 相应 的 拒绝 策略 CRejectedExecutionHandler) 。 线 程 池 执 行 
情况 下 无 法 捕获 堆栈 上 下 文 ， 因 此 任务 要 记录 相关 参数 ， 以 方便 定位 所 
交 任 务 的 源头 及 定位 引起 问题 的 源头 。 


12.3.2 ”Tomcat 线程 池 配 置 
以 Tomcat 8 为 例 配置 如 下 ， 配 置 方式 一 。 


«Connector port-"8080" acceptCount="100" maxConnections="200" 
minSpareThreads -"10" maxThreads-"200"/» 


- acceptCount: 请求 等 竺 队列 大 小 。 当 Tomcat 没 有 空闲 线程 处 理 连 接 
请 求 时 ， 新 来 的 连接 请 求 将 放 入 等 竺 队列 ， 默 认为 100。 当 队列 超过 
acceptCount 后 ， 新 连接 请 求 将 被 拒绝 。 


: maxConnections: Tomcat 能 处 理 的 最 大 并 发 连接 数 。 当 超过 后 还 是 会 
接收 连接 并 放 入 等 待 队 列 〈acceptCount 控 制 ) ， 连 接 会 等 待 ， 不 能 被 处 
理 。BIO 默 认 是 maxThreads 数 量 。NIO 和 NIO2 默 认 是 10000，ARP 默 认 是 
6192. 


- minSpareThreads: 线程 池 最 小 线程 数 ， 默 认为 10。 访 配置 指定 线程 
凶 可 以 维持 的 空闲 线程 数量 。 


- maxThreads: 线程 池 最 大 线程 数 ， 默 认为 200。 当 线程 池 衬 朵 一 段 时 
间 后 会 释放 到 只 你 留 minSpareThreads 个 线程 。 

举例 ， 假 设 maxThreads=100，maxConnections=50，acceptCount=50， 假 
设 并 及 请 求 为 200， 则 有 50 个 线程 并 及 处 理 50 个 并 人 用 连 搂 ，50 个 连接 进 
入 等 竺 队列 ， 剩 余 100 个 将 被 拒绝 。 也 吏 是 说 Tomcat 最 大 并 发 线程 数 是 


由 maxThreads 和 maxConnections 中 最 小 的 一 个 决定 。BIO 场 景 下 
maxConnections 和 maxThreads 是 一 样 的 ， 当 我 们 需要 长 连接 场景 时 ， 应 
使 用 NIO 模 式 ， 并 发 连接 数 是 大 于 线程 数 的 。 


配置 方式 二 。 


<Executor nane="tomcatThreadPool" nanePrefix-"catalina-exec-" deamon= "true" 
minSpareThreads="25" maxThreads="200" maxIdleTime-"60000" 
maxQueueSize- "Integer.MAX VALUE" 
prestartminSpareThreads-"false"/» 

«Connector port-"8080" executor-"tomcatThreadPool" 
executorTerminationTimeoutMillis ="5000"/> 


此 处 我 们 使 用 了 org.apache.catalina.Executor 实 现 ， 其 表示 一 个 可 在 多 个 
Connector 间 共 至 的 线程 池 ， 而 且 有 更 丰富 的 配置 。 


: namePrefix: 创建 的 Tomcat 线 程 名 字 的 表 绥 。 
‘deamon: 是 否 守护 线程 运行 ， 默 认为 true。 
-minSpareThreads: 线程 池 最 小 线程 数 ， 默 认为 25。 
-maxThreads: 线程 池 最 大 线程 数 ， 默 认为 200。 


- maxIdleTime: 衬 亲 线程 池 的 存活 时 间 ， 黑 认为 60s。 当 线程 空 亲 超过 
该 时 间 后 ， 线 程 将 被 回收 。 


- maxQueueSize: | £95 A VE KK, EX 7JInteger. MAX. VALUE, 
建议 改 小 。 可 以 认为 是 maxConnections 。 


prestartminSpareThreads: 是 否 在 Tomcat 启 动 时 就 创建 
minSpareThreads 个 线程 放 入 线程 池 ， 默 认为 false。 


A 


- executorTerminationTimeoutMillis: 在 停止 Executor 时 ， 等 待 请 求 处 


理 线程 终止 的 超时 时 间 。 


最 后 ， 要 根据 业务 场景 和 奈 训 来 配置 合理 的 线程 池 大 小 ， 配 置 太 大 的 线 
ah a i aaa aaa 其 至 造 
Tomcat 僵 死 。 





FEA HARE, Docker% ás 1H Runtime.getRuntime 
().availableProcessors() 获 取 a 到 的 是 物理 机 核 数 ， 而 不 是 容器 实际 使 用 的 
核 数 ， 这 将 对 性 能 造成 极 大 影响 。 所 有 用 到 该 参数 的 地 方 都 要 记得 调 
整 ， 如 CMS 垃圾 回收 参数 : -XX:ParallelGCThreads 和 - 
XX:ConcGCThreads， 可 扫 二 维 介 参考 《使 用 Docker 容 大 时 不 要 瑟 记 进 
行 GC 参数 审查 》。 





13 有 寞 步 并 友和 实战 


在 做 电 丙 系统 时 ， 首 页 、 活 动 页 、 商 品 详情 页 等 系统 承载 了 网 站 的 大 部 
分 激 量 ， 而 这 些 系统 的 主要 职责 包括 聚合 数据 拼 冯 模板、 热点 统计 、 绥 
仓 、 下 游 功能 降级 开关 、 托 后 数据 等 。 其 中 聚合 数据 需要 调用 多 个 其 他 
服务 获取 数据 、 拼 北 数 据 / 模 板 ， 然 后 返回 给 前 并 ， 聚 合 数 据 来 源 主要 
有 依赖 系统 /服务 、 绥 存 、 数 据 库 等 。 而 系统 之 间 的 调用 可 以 通过 如 
HTTP 接 口 调用 (如 HttpClient) 、SOA 服 务 调 用 (如 dubbo、thrift〉 等 
实现 。 


在 Java 中 ， 如 使 用 Tomcat， 一 个 请 求 会 分 配 一 个 线程 进行 请 求 处 理 ， 访 
线程 负 贡 获取 数据 、 拼 闭 数 据 或 模板 ， 然 后 返回 给 前 新。 在 同步 调用 获 
取 数 据 接口 的 情况 下 《等 待 依赖 系统 返回 数据 ) ， 整 个 线程 是 一 直 被 占 
用 并 阻 窟 的 。 如 果 有 大 量 的 这 种 请 求 ， 则 每 个 请 求 占 用 一 个 线程 ， 但 线 
程 一 直 处 于 阻塞 ， 降 低 了 系统 的 吞吐 量 ， 这 将 导致 应 用 的 吞吐 量 下 降 。 
我 们 和 希望， 在 调用 依赖 的 服务 响应 比较 慢 时 ， 应 该 让 出 线程 和 CPU 来 处 
理 下 一 个 请 求 ， 当 依赖 的 服务 返回 后 再 分 配 相 应 的 线程 来 继续 处 理 。 而 
这 应 该 有 更 好 的 解决 方案 : 异步 / 协 程 。 而 Java 是 不 支持 协 程 的 (虽然 有 
些 Java 框 架 号 称 文 持 ， 但 还 是 高 层 API 的 封装 ) ， 因 此 ， 在 Java 中 我 们 可 
以 使 用 异步 来 提升 厨 吐 量 。 目 前 大 部 分 Java 开 源 框 架 
(HttpAsyncClient、Dubbo、Thrift 等 ) 都 支持 。 


另外 ， 应 用 中 一 个 服务 可 能 会 调用 多 个 依赖 服务 来 处 理 业 务 ， 而 这 些 依 
赖 服务 古 可 以 同时 调用 的 。 如 果 顺 序 调用 的 话 需 要 耗 时 100ms， 而 并 发 
调用 只 需要 50ms， 那 么 可 以 使 用 Java 并 发 机 制 来 并 发 调用 依赖 服务 ， 从 
而 降低 该 服务 的 啊 应 时 间 。 











一 请 求 - 商品 详情 页 
服务 











价格 


在 开发 应 用 系统 过 程 中 ， 通 过 有 异步 并 发 并 不 能 使 啊 应 变 得 更 快 ， 更 多 是 
为 了 提升 吞 叶 量 、 对 请 求 更 细 粒 度 控制 ， 或 是 通过 多 依赖 服务 并 发 调用 
降低 服务 啊 应 时 间 。 当 一 个 线程 在 处 理 任 务 时 ， 通 过 Fork 多 个 线程 来 处 
理 任 务 并 等 竺 这些 线 程 的 处 理 结果 ， 这 种 应 用 并 不 是 真正 的 异步 。 异 步 
是 针对 CPU 和 IO 的 ， 当 IO 没有 就 绪 时 要 让 出 CPU 来 处 理 其 他 任务 ， 这 才 
是 异步 。 本 文 不 会 介绍 异步 并 发 实现 原理 ， 主 要 介绍 在 Java 应 用 中 如 何 
运用 这 些 技术 ， 而 且 大 多 数 场 景 并 不 是 真正 的 异步 化 ， 在 Java 中 真正 实 
现 异 步 化 是 非常 困难 的 事情 ， 如 MySQL ”JDBC 了 驱动 等 很 多 都 是 BIO 设 
计 ， 大 多 数 情 况 下 说 的 异步 并 发 是 通过 线程 池 模 拟 实现 。 


13.1 [Al BH SE V] H 
即 串 行 调用 ， 啊 应 时 间 为 所 有 依赖 服务 的 啊 应 时 间 总 和 。 


public class Test { 
public static void main(String[] args) throws Exception { 
RpeService rpcService = new Rpeservice (); 
HttpService httpService - new HttpService(); 


// 耗 时 为 10ms 

Map<String, String> resultl = rpcService.getRpcResult(); 
// 耗 时 为 20ms 

Integer result2 = httpService.getHttpResult(); 

/ / FEN A 30ms 


} 
static class RpcService { 
Map<String, String> getRpcResult() throws Exception { 
// 调 用 远程 方法 〈 远 程 方法 耗 时 约 10ms， 可 以 使 用 Thread.sleep 模拟 ) 


Static class HttpService { 


Integer getHttpResult() throws Exception { 
// 调 用 远程 方法 (远程 方法 耗 时 约 20ms， 可 以 使 用 Threadq.sleep 模拟 ) 
Thread.sleep(20); 
return 0; 


13.2 ”异步 Future 


线程 池 配 合 Future 实 现 ， 但 是 阻 杜 主 请 求 线程 ， 高 并 发 时 依然 会 造成 线 
程 数 过 多 、CPU 上 下 文 切 换 。 通 过 Future 可 以 并 发 发 出 N 个 请 求 ， 然 后 
等 竺 最 悍 的 一 个 返回 ， 总 啊 应 时 间 为 最 慢 的 一 个 请 求 返 回 的 用 时 。 如 下 
请 求 如 果 并 发 访问 ， 则 啊 应 可 以 在 30ms 后 返回 。 


rpc servicel 
20ms 


rpc service2 
10ms 


rpc service3 
30ms 


public class Test { 
final static ExecutorService executor = 
Executors.newFixedThreadPool (2); 
public static void main(String[] args) { 
RpcService rpcService = new RpcService(); 
HttpService httpService = new HttpService(); 
Future<Map<String, String>> futurel = null; 
Future<Integer> future2 = null; 


Lry i 
futurel = executor.submit(() -> rpcService.getRpcResult()); 
future2 = egRcutor.submit(() -> httpService.getHttpResult()); 
/ / ER] A 10ms 


Map<String, String> resultl = 

futurel.get(300, TimeUnit.MILLISECONDS) ; 
// 耗 时 为 20ms 
Integer result2 = future2.get(300, TimeUnit.MILLISECONDS); 


/ / FERS A 20ms 
) catch (Exception e) { 
if (futurel != null) { 
futurel.cancel (true); 
i 
if (future2 != null) í 
future2.cancel (true); 


} 


throw new RuntimeException (e); 


} 
static class RpcService { 
Map<String, String» getRpcResult() throws Exception { 
/ /调用 远程 方法 (远程 方法 耗 时 约 10ms， 可 以 使 用 Threadq.sleep 模拟 ) 


} 
Static Glass HttpService | 
Integer getHttpResult() throws Exception { 
/ /调用 远程 方法 (远程 方法 耗 时 约 20ms， 可 以 使 用 Thread.sleep 模拟 ) 


13.3 2 Callback 


通过 回调 机 制 实现 ， 即 首先 发 出 网 络 请 求 ， 当 网 络 返 回 时 回调 相关 方 
法 ， 如 HttpAsyncClien 使 用 基于 NIO 的 异步 JO 模 型 实现 ， 它 实现 了 
Reactor A. MAIZI one thread per connection， 采 用 线程 池 分 
及 事件 通知 ， 从 而 有 效 文 撑 大 量 并 有 发 连接 。 这 种 机 制 并 不 能 提升 性 能 ， 
而 是 为 了 文 撑 大 量 并 发 连接 或 者 提升 硅 吐 量 。 


public class AsyncTest { 
public static HttpAsyncClient httpAsyncClient; 
public static CompletableFuture<String> getHttpData(String url) { 
CompletableFuture asyncFuture = new CompletableFuture(); 


HttpAsyncRequestProducer producer - 
HttpAsyncMethods.create(new HttpPost (url)); 


BasicAsyncResponseConsumer consumer - 


new BasicAsyncResponseConsumer () ; 


FutureCallback callback = new FutureCallback«HttpResponse»() { 
public void completed(HttpResponse response) { 
asyncFuture.complete (response); 
} 
public void failed(Exception e) { 
asyncFuture.completeExceptionally (e); 
j 
public void cancelled() | 
asyncFuture.cancel (true); 
} 
}; 


httpAsyncClient.execute(producer, consumer, callback); 
return asyncFuture; 


public static void main(String[] args) throws Exception { 
CompletableFuture<String> future = 
AsyncTest.getHttpData ("http://www.jd.com") ; 
String result = future.get(); 


这 种 异步 实现 可 以 配合 CompletableFuture 实 现 半 异步 。 


13.4 +: 27494 CompletableFuture 


JDK 8 ——À 新 的 异步 编程 思路 ， 可 以 对 多 个 异步 处 
理 进 行 编排 ， 实 现 更 复杂 的 异步 处 理 。 其 内 部 使 用 ForkJoinPool 实 现 异 

步 处 理 。 使 用 CompletableFuturen] 以 把 回调 方式 的 实现 转变 为 同步 调用 
实现 。CompletableFuture 提 供 了 50 多 个 API， 可 以 满足 各 种 所 需 场景 的 
异步 处 理 编 排 ， 在 此 列举 三 个 场景 。 


DEN STENT TN SA Ja XS AGAR PALL, «= AN BASE Ee 
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Service1 


public static void testl() throws Exception { 
MyService service - new MyService(); 
CompletableFuture<String> futurel = 
service.getHttpData("http:// www.jd.com") ; 
CompletableFuture<String> future2 = 
service.getHttpData ("http:// www.jd.com") ; 
CompletableFuture<String> future3 = 








service.getHttpData ("http://www.jd.com") ; 


CompletableFuture.allOf(futurel, future2, future3) 
.thenApplyAsync((Void) -> { 
/ /异步 处 理 futurel future2 future3 结果 
}) .exceptionally(e -> { 
/ WAER 
)); 


如 上 方式 直接 通过 thenApplyAsync 异 步 处 理 future1~3 的 结果 ， 不 阻塞 主 
线程 ， 内 部 使 用 ForkJoinPool 线 程 池 实现 。 也 可 以 通过 返回 一 个 新 的 
CompletableFuture 来 同步 处 理 结果 ， 即 阻塞 主线 程 。 


CompletableFuture<List> future4 = CompletableFuture 
.allOf(futurel, future2, future3) 
.thenApply((Void) -> { 
return Lists.newArrayList( 
futurel.get(), future2.get(), future3.get()) 
}) .exceptionally(e -> { 


// 处 理 异 向 
1); 


场景 二 十 两 个 服务 并 友 调 用 ， 然 后 消费 结 末 ,不 阻 暑 主线 程 。 


public static void testZ2() throws Exception 1 
MyService service - new MyService(); 


CompletableFuture<String> futurel = 


service.getHttpData ("http:// www.jd.com") ; 
CompletableFuture<String> future2 = 
service.getHttpData ("http:// www.jd.com") ; 


futurel.thenAcceptBothAsync ( 
future2, (futurelResult, future2Result) -> { 
/ / 弄 步 处 理 结 
)).exceptionally(e -> { 
// 异 单 处 理 
b) 


场景 二 是 服务 1 执行 完成 后 ， 接 看 并 友 执 行 服务 2 和 服务 3， 然 后 消费 相 
AXI. ANBAZEE ERTS 





Service2 








Servicel 





public static void test3() throws Exception { 
MyService service - new MyService(); 


CompletableFuture<String> futurel = 
service.getHttpData ("http:// servicel") ; 
CompletableFuture<String> future2 = 
futurel.thenApplyAsync((v) -> { 
return "result from service2"; 


)); 
CompletableFuture<String> future3 = 


service.getHttpData("http:// service3") ; 
future2.thenCombineAsync(future3, (f2Result, f3Result) -> { 
/ /处理 业 务 
)).exceptionally(e -> { 
/ / SOSH 
)); 
} 


135 ”异步 Web 服 务实 现 


借助 Servlet 3、CompletableFuture 实 现 异 步 Web 服 务 。 如 下 是 整个 处 理 流 
FE. 





CompletableFuture 是 一 个 包括 所 有 结 
果 处 理 项 数 和 即将 要 返回 的 统 果 值 
(下 到 有 结果 时 才 触 发 处 理 函 数 ) : 

servlet3 会 持 有 请 求 上 下 文 与 

CompletableFuture 收 到 全 异步 非 阻 寨 








servlet3 异 步 处 理 


Feit, 


业务 处 理 一 同步 调用 调用 


数据 库 、 集 中 缓存 Redis ) 





注意 :定时 清理 
CompletableFuture 的 超时 情 
况 ， 所 以 要 维护 正在 等 待 回 


业务 处 理 -异步 调用 (分 别 
异步 调用 远程 服务 


调 的 Future httpAsyncClient, thrift) 





编排 CompletableFuture 处 
理 结果 数据 (结果 返回 时 
A) 


ia iu CompletableFuture 


Servlet 容 器 接收 到 请 求 之 后 ，Tomcat 需 要 先 解析 请 求 体 ， 然 后 通过 异步 
Servlet 将 请 求 交 给 异步 线程 池 来 完成 业务 处 理 ，Tomcat 线 程 释放 回 容 
器 。 通 过 异步 机 制 可 以 提升 Tomcat 容 器 的 吞吐 量 。 


public void submitFuture(finalHttpServletRequest req, final Callable 


<CompletableFuture> task) throwsException( 
final String uri = req.getRequestURI(); 
final Map<String, String[]> params = req.getParameterMap(); 
final AsyncContext asyncContext = req.startAsync(); 
asyncContext.getRequest().setAttribute("uri", uri); 
asyncContext.getRequest().setAttribute("params", params); 
asyncContext.setTimeout (asyncTimeoutInSeconds * 1000); 
if(asyncListener != null) { 
asyncContext.addListener (asyncListener); 
} 
CompletableFuture future = task.call(); 
future.thenAccept (result -> { 
HttpServletResponse resp = 
(HttpServletResponse) asyncContext.getResponse () ; 
try { 
if(result instanceof String) { 
byte[] bytes = result.getBytes ("GBK"); 
resp.setContentType ("text/html; charset=gbk"); 
resp.setContentLength (bytes.length) ; 
resp.getOutputStream().write (bytes); 
) else { 
write (resp, JSONUtils.toJSON (result) ); 
| 
} catch (Throwable e) { 
resp.setStatus ( 
HttpServletResponse.SC INTERNAL SERVER ERROR) ; 
/程序 内 部 错误 
try { 
LOG.error("get infoerror, uri : {}, params: {}", 
uri,JSONUtils.toJSON(params), e); 
) catch (Exception ex) { 
} 
} finally { 
asyncContext.complete(); 
} 
)).exceptionally(e -> { 
asyncContext.complete (); 
return null; 


Fs 


13.6 ”请 求 绥 存 


在 一 个 查询 库存 的 服务 中 ， 因 为 一 些 特殊 原因 对 同一 个 商品 查询 了 多 
次 ， 即 一 次 用 户 请 求 需 要 睾 复 调用 多 次 障 品 接口 。 我 们 一 般 的 做 法 是 将 
GetProductService 包 闭 一 层 JVM 绥 存 ， 丰 过， 使 用 Hystrix 后 ， 我 们 还 有 
为 一 种 请 求 级 别 的 缓存 实现 。 


QueryStock 


-一 一 GetProductService 
但 询 了 商品 





fri] PE FF 


FUR A V FI a 





GetProductServiceCommand 实现 代码 如 下 。 


public class GetProductServiceCommand extends HystrixCommand<String> { 
private ProductService productService; 
private Long id; 
public GetProductServiceCommand ( 
ProductService productService, Long id) { 
super (setter()); 
this.id = id; 
this.productService = productService; 


@Override 
protected String run() throws Exception { 
return productService.getProduct (id); 


@Override 
protected String getCacheKey() { 
roturh "oroduGt-" 4 ads 


此 处 需要 实现 getCacheKey 方 法 ， 指 定 绥 人 存 key。 


再 要 使 用 withRequestCacheEnabled(true) 配 置 开 局 请 求 绥 存 文 持 。 


HystrixCommandProperties.Setter commandProperties = 
HystrixCommandProperties.Setter() 
.WithExecutionIsolationStrategy (HystrixCommandProperties.Execut 
ionIsolationStrategy. THREAD) 
.WithRequestCacheEnabled (true) // 默 认 true 


业务 代码 调用 实现 如 下 。 


HystrixRequestContext context = HystrixRequestContext. initializeContext(); 
try { 
ProductService productService = new ProductService(); 
GetProductServiceCommand commandl - 
new GetProductServiceCommand (productService, 1L); 
GetProductServiceCommand command2 - 
new GetProductServiceCommand (productService, 1L); 
commandl.execute(); 
command2.execute(); 
Assert.assertFalse(commandl.isResponseFromCache()); 
Assert.assertTrue(command2.isResponseFromCache()); 
} finally { 
context.shutdown(); 


| 


Hystrixfii H] f ThreadLocal HvystrixRequestContext 实 现 ， 并 在 异步 线程 执 
行 之 前 注入 ThreadLocal HystrixRequestContext 实 现 多 个 线程 共享 ， 从 而 
实现 请 求 级 别 的 响应 缓存 。 


下 面 看 一 下 如 何 用 CompletableFuture 实 现 批 量 查 询 。 


我 们 有 个 服务 需要 多 次 查询 价格 ， 而 价格 服务 皖 供 了 单个 得 询 和 批量 得 
询 接口 。 一 种 方式 是 我 们 在 客户 病 多 线程 碍 询 ， 然 后 聚合 。 万 一 种 方式 
征调 用 批量 查询 接口 “一些 服务 带 娟 实现 其 实 是 串 行 的 ， 这 种 情况 建议 
使 用 客户 闯 多 线程 得 询 ， 而 不 是 服务 部 站 提供 的 文 持 ) 。 在 调用 批量 接 
口 时 ， 我 们 需要 限制 每 次 批量 的 大 小 ， 从 而 减少 阻 豆 时 间 。 


**Service 


= 一 PriceService 
查询 价格 


查询 价格 


Fie fr fit 





使 用 CompletableFuture 实 现 客户 端 多 线程 批量 查询 。 


List<CompletableFuture<Double>> futures = Lists.newArrayList(); 
Cor (Long id s: ids) | 
futures.add(CompletableFuture.supplyAsync( 
() -> (return priceService. getPrice(id);})); 
} 
CompletableFuture.allOf( 
futures.toArray (new CompletableFuture[0])).get(); 


因为 我 们 知道 价格 有 批量 接口 ， 也 可 以 在 客户 端 调 用 批量 接口 实现 。 但 
是 ， 我 们 不 能 一 次 批量 得 询 太 多 价格 数据 ， 服 务 右 问 限 定 我 们 每 次 最 多 
查询 10 个 。 因 此， 我 们 需要 对 id 进行 分 区 ， 以 实现 批量 查询 。 


List<CompletableFuture<List<Double>>> futures = Lists.newArrayList(); 
List<List<Long>> pages = Lists.partition(ids, 10); 
for (List<Long> page : pages) { 
futures.add(CompletableFuture.supplyAsync(() -> { 
return priceService.getPrices (page) ; 
pide 
} 
CompletableFuture.allOf( 
futures.toArray (new CompletableFuture[0])).get 0; 


Mi = X 人 、 Y 
13.7 ”请求 合并 
CompletableFuture 必 须 提 前 构造 好 批量 得 询 ， 而 Hystrix 文 持 将 多 个 单个 
请求 转换 为 单个 批量 请 求 ， 即 可 以 控 照 单个 命 仿 来 请 求 。 但 是， 实际 大 
以 批量 请 求 模 式 执行 。 


Hystrix 请 求 合 并 业务 代码 如 下 。 


HystrixRequestContext context = 
HystrixRequestContext.initializeContext(); 
LIV 4 
PriceService priceService - new PriceService(); 
GetPriceServiceCommand commandl - 
new GetPriceServiceCommand (priceService, 1L); 
GetPriceServiceCommand command2 - 


new GetPriceServiceCommand (priceService, 2L); 


GetPriceServiceCommand command3 = 
new GetPriceServiceCommand (priceService, 3L); 


Future«Double» fl = commandl.queue(); 
Future<Double> f2 = command2.queue(); 
Future<Double> f3 -command3.queue(); 


, 


fl.get () 

f2.get(); 

£3.get(); 
} finally { 
context. shutdown () ; 


t? 


可 以 看 到 ， 业 务 代 码 还 是 单个 价格 得 询 。Hystrix 内 部 会 将 多 个 得 询 进行 
合并 后 批量 得 询 ， 此 处 需要 先 使 用 queue 而 不 能 直接 使 用 execute 方 法 调 


* * i 
Service GetPriceServiceCommand 


查询 价格 
查询 价格 GetPriceServiceCommand BatchPriceCommand 
Tu ANN 

得 询 价格 GetPriceServiceCommand 




















当 我 们 调用 GetPriceServiceCommand 时 ， 最 终 会 将 请 求 合 并 ， 然 后 交 由 
BatchPriceCommand 执 行 批量 查询 。 


GetPriceServiceCommand 实 现 


public class GetPriceServiceCommand 
extends HystrixCollapser <List<Double>, Double, Long? { 
private PriceService priceService; 
private Long id; 
public GetPriceServiceCommand(PriceService priceService, Long id) { 
super(setter()); 
this.priceService - priceService; 
this.id - ig; 


private static HystrixCollapser.Setter setter() | 
return HystrixCollapser.Setter 
.withCollapserKey(HystrixCollapserKey.Factory.asKey("pri 
ce")) 
.andCollapserPropertiesDefaults (HystrixCollapserProperti 


es.Setter() 
.withMaxRequestsInBatch (2) 
.WithTimerDelayInMilliseconds (5) 
.WithRequestCacheEnabled (true) ) 
.andScope (Scope. REQUEST) ; 


@Override 
public Long getRequestArgument() { 
return id; 


@Override 
protected HystrixCommand<List<Double>> createCommand (Collection 


<CollapsedRequest<Double, Long>> requests) { 
return new BatchPriceCommand (priceService, requests); 


@Override 
protected void mapResponseToRequests (List«Double» batchResponse, 
Collection«CollapsedRequest«Double, Long»? requests) { 
final AtomicInteger count = new AtomicInteger (0); 
requests.forEach((request) -> { 
request.setResponse( 
batchResponse.get (count.getAndIncrement ())); 


PE 


HystrixCollapser.Setter 配 置 


collapserKey : 配置 全 局 唯一 标识 服务 合并 的 名 称 ， 类 似 于 
HystrixzCommandKey。 如 有 末 不 配置 ， 则 默认 是 徐 单 类 名 ， 通 过 访 名 称 进 
行 请 求 合 并 。 


: collapserPropertiesDefaults : maxRequestsInBatch 配 置 每 个 请 求 合 并 人 允 
许 的 最 大 请 求 数 ， 如 采 请 求 多 于 此 配置 会 分 多 批 次 执行 ， 默 认为 
Integer.MAX_VALUE。timerDelayInMilliseconds 配 置 在 批 处 理 执行 之 前 
的 等 待 超时 时 间 ， 默 认为 10ms。requestCacheEnabled 如 果 路 多 请 求 进行 


请 求 合 并 ， 则 必须 开局 ， 开 局 后 可 以 消除 重复 请 求 ， 默 认为 true。 


scope : 请 求 合并 苑 围 ， 默 认为 Scope.REQUEST， 即 当前 请 求 上 下 
文 。 如 果 配 置 为 Scope.GLOBAL， 则 表示 全 局 ， 即 可 以 跨越 多 个 请 求 上 
下 文 进行 请 求 合 并 。 如 果 和 需要 GLOBAL， 则 记得 开局 
requestCacheEnabled。 建 议 只 使 用 REQUEST 汇 围 ， 如 果 非 要 使 用 
GLOBAL， 那 么 请 给 出 合理 的 理由 。 


timerDelayInMilliseconds 是 请 求 合 并 时 执行 的 延 人 运 时 间 ， 如 果 请 求 合 开 
数量 正好 等 于 maxRequestsInBatch， 那 么 就 不 需要 等 每 而 立即 执行 。 但 
是 ， 如 果 请 求 数量 <maxRequestsInBatch， 那 么 请 求 会 在 该 超时 时 间 后 才 
执行 ， 其 使 用 线程 池 的 scheduleAtFixedRate(r, 

listener.getInterval TimeInMilliseconds(), listener.getIntervalTimeIn 
Milliseconds(), TimeUnit. MILLISECONDS)SCJJ , 


HystrixCollapser 的 实现 方法 如 下 。 


getRequestArgument : 返回 请 求 参数 ， 如 果 有 多 个 参数 需要 包 闭 为 一 
^, X MER ACollapsedRequest. 


: createCommand : 创建 可 批量 执行 的 Command， 当 HystrixCollapser 对 
请 求 进行 合并 后 达到 maxRequestsInBatch 时 或 timerDelayInMilliseconds 超 
时 后 ， 就 会 创建 批 处 理 命 令 ， 如 示例 中 的 BatchPriceCommand。 


- mapResponseToRequests : 将 执行 结束 映射 到 请 求 中 ， 从 而 单个 请 求 
束 可 以 获得 结果 了 了。 


` shardRequests : 如 果 想 把 不 同 的 请 求 分 到 不 同 的 分 组 进行 请 求 合 并 ， 
可 以 使 用 该 命令 ， 如 HashTag 应 用 。 比 如 一 个 商品 有 商品 基本 信息 
(p:id:)、 障 品 介 绍 (d:id:)、 磊 色 尺 人 码 (c:id:) 等 标签 ， 我 们 存储 时 如 不 采用 
HashTag 将 会 导致 这 些 数 据 不 会 存储 到 一 个 分 片 ， 而 是 分 散 到 多 个 分 
厂 。 这 样 获 取 时 需要 从 多 个 分 厂 获 取 数 据 进 行 合并 ， 无 法 进行 mget。 如 
条 有 了 HashTag， 那 么 可 以 使 用 “::” 中 间 的 数据 做 分 请 饮 辑 ， 这 样 id 一 样 
的 将 会 分 到 一 个 分 斤 。shardRequests 可 以 按照 HashTag 类 似 机 制 实现 。 


BatchPriceCommand 实 现 


class BatchPriceCommand extends HystrixCommand<List<Double>> { 
private PriceService priceService; 
private Collection«CollapsedRequest«Double, Long>> requests; 
public BatchPriceCommand (PriceService priceService, Collection< 
CollapsedRequest«Double, Long>> requests) { 
super(setter()); 
this.priceService - priceService; 
this.requests - requests; 
} 
private static Setter setter() { 
return Setter.withGroupKey ( 


HystrixCommandGroupKey.Factory.asKey ("price") ) ; 


@Override 
protected List<Double> run() throws Exception { 
List<Long> ids = requests.stream() 
.map (req -> {return req.getArgument ();]) 
collect (Collectors. tolist()); 
return priceService.getPrices (ids) ; 


普通 Command 实 现 是 ， 将 机 合并 请 求 的 请 求 进行 合 并 ， 然 后 调用 批量 耕 
询 接口 ， 从 而 将 多 个 单 识 得 询 合 并 为 一 个 批量 查询 。 


14 如 何 扩 容 


对 于 一 个 发 展 初 期 的 系统 来 说 ， 不 太 确 定 商 业 模 型 到 上 抵 行 不行 ， 最 好 的 
办 法 是 按照 最 小 可 行 产 品 方法 进行 产品 验证 ， 因 此 ， 刚 开始 的 功能 会 比 
较 少 ， 是 一 个 大 的 单 体 应 用 ， 一 般 投 照 三 层 架 构 进 行 设 计 开 及， 使 用 单 
数据 库 ， 绥 存 也 是 可 选 组 件 ， 而 应 用 系统 和 数据 库 也 很 可 能 部 着 在 同一 
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对 于 这 样 一 个 系统 ， 随 着 产品 使 用 的 用 户 越 来 越 多 ， 网 站 的 流量 会 增 
加 ， 最 终 单 台 服务 器 无 法 处 理 那么 大 的 流量 ， 此 时 就 需要 用 分 而 治之 的 
思想 来 解决 问题 。 


TR — £V zB fd A 容 来 解决 。 


HF, WOR Ta a ede XE Hb rn E ZK CL RIT RUE Et AI SUI INL] 
REET RRA ATE, BUGIS 容 提 升 系统 负载 能 力 。 


第 三 步 ， 如 打通 过 水 平 拆 分 /重生 拆 分 还 是 摘 不 定 ， 那 束 需 要 根据 现 有 
系统 特性 ， 从 如 构 层面 进行 重 构 甚 全 是 重新 设计 ， 即 推倒 重 来 。 


对 于 系统 设计 ， 理 想 的 悄 况 下 应 双 持 线性 扩容 和 弹性 扩容 ， 即 在 系统 短 
SHIN, JA ris SESH Laie at FY ARR REN, MOIR EIS GET th ae 
从 而 实现 扩容 需求 。 


如 朱 你 想 扩 容 ， 则 文 持 水 平 /垂直 伸缩 是 前 插 。 在 进行 拆 分 时 ， 一 定 要 
清和 芭 知 道 目 己 的 目的 是 什么 ， 拆 分 后 市 来 的 问题 如 何 解决 ， 拆 分 后 如 末 
没有 得 到 任何 收益 就 不 要 为 了 拆 而 拆 ， 即 不 要 过 上 度 拆 分 ， 要 适合 目 己 的 
业务 。 本 革 主 要 从 应 用 和 数据 层面 讲解 如 何 按照 业务 和 功能 进行 应 用 或 
数据 层面 的 拆 分 。 


14.1 "RASNERISERUD A 


有 些 时 候 ， 如 果 能 通过 便 件 快速 解决 ， 而 且 成 本 不 高 ， 应 该 首先 通过 便 
件 扩容 来 解雇 问题 。 人 硬件 扩容 包括 升级 现 有 服务 器 ， 比 如 CPU 由 原来 的 
32 核 升级 到 64 核 ， 内存 从 64GB 升 级 到 256GB 〈 有 的 绥 存 服务 磺 CPU 利 
用 率 很 低 ， 但 是 内 存 不 够 用 ， 就 通过 扩容 内 存 来 提升 单机 容量 ) ; 磁盘 
扩容 ， 比 如 系统 有 大 量 的 随机 读 写 ， 因 此 把 HDD 换 成 SSD， 还 有 将 原来 
单机 1TB 扩 容 为 2TB; 原来 硬盘 做 了 RAID 10， 现 在 直接 拆 为 裸 盘 使 
用 ， 通 过 架构 层面 提升 数据 可 靠 性 。 此 外 ， 核 心 数 据 库 可 以 使 用 PCIe 
SSD 或 NVMe SSD， 于 兆 网 卡 可 以 升级 为 万 兆 网 卡 。 不 管 怎 么 扩容 ， 单 
机 总 会 是 瓶颈 ， 而 分 布 式 技术 是 提升 系统 扩容 能 力 的 更 好 方法 。 


14.2 ” 单 体 应 用 水 平 扩 容 


单 体 系统 水 平 扩 容 是 通过 部 普 更 多 的 镜像 来 实现 的 。 如 下 图 所 示 ， 原 来 
通过 一 个 系统 实例 对 外 捉 供 服务 ， 通 过 扩容 到 更 多 实例 后 ， 用 户 访问 时 
个 可 能 提供 多 个 域名 /了 入 口 ， 应 该 提供 统一 入 口 ， 些 时 融 需 要 负载 均衡 
机 制 来 实现 。 


负载 均衡 名 | 
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如 条 数据 库 的 瓶 祷 是 读 造 成 的 ， 则 此 时 可 以 通过 主 从 数据 库 架 构 将 恋 的 


沉 量 分 获 到 更 多 的 从 服务 右上 ， 写 数据 时 写 到 主 数 据 库 ， 读 数据 时 读 取 
从 数据 库 


经 过 单 体 应 用 的 垩 下 /水 平 扩 容 ， 如 来 系统 还 古 有 瓶 贷 ， 则 此 时 只 有 通 
过 拆 分 应 用 来 解决 。 


14.3 MHIIRI 


对 于 单 体 应 用 来 说 ， 随 独 业 务 量 的 增加 ， 一 个 大 系统 融会 有 很 多 人 维 
护 ， 这 束 造 成 修改 代 人 码 会 出 现 冲 突 ， 上 线 必须 大 家 一 起 上 线 ， 而 且 风 险 
较 大 ， 导 致 需求 实现 速度 组 怪 。 因 此 单 体 应 用 及 展 到 一 定 地 步 时 ， 会 按 
照 业务 进行 拆 分 。 
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如 上 图 所 示 ， 我 们 按照 业务 将 一 个 大 系统 拆 分 为 多 个 子 系统 ， 比 如 网 站 
系统 和 交易 系统 。 拆 分 时 要 进行 业务 代码 解 炎 ， 将 功能 分 离 到 不 同系 统 
上 上。 拆 分 后 系统 之 则 是 物理 隔离 的 ， 应 用 层面 原来 是 下 接 进 程 内 方法 调 
用 ， 现 在 需要 改 成 远程 方法 调用 ， 比 如 通过 WebService、RMI 等 。 


通过 拆 分 ， 可 以 由 两 个 团队 分 别 维护 网 站 和 交易 系统 ， 相 互 之 间 的 更 新 
是 不 冲突 的 。 但 是 目前 也 存在 一 些 问 题 ， 比 如 ， 我 们 使 用 RMI 机 制 ， 需 
要 使 用 方 维护 一 个 服务 方 IP 列 表 。 因 此 下 一 个 方向 是 SOA 化 ， 如 下 图 所 
ZJN o 
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随 着 系统 流量 越 来 越 大 ， 我 们 会 继续 在 业务 拆 分 基础 上 ， 按 照 功 能 域 拆 
分 为 前 端 Web 系 统 和 基础 服务 。 因 为 随 着 业务 的 发 展 ， 流 量 越 来 越 大 ， 

解决 方案 越 来 越 复 杂 。 像 商品 、 购 物 车 、 结 算 服 务 会 趋 于 基础 化 、 通 用 
化 ， 而 前 问 Web 会 有 各 种 各 样 的 版 本 和 需求 ， 如 PC/APP/H5/ 开 放 平 从 

等 ， 因 此 需要 进行 服务 化 平台 与 业务 系统 的 拆 分 。 


拆 分 后 ， 系 统 之 则 需要 使 用 市 服务 注册 / 友 现 功能 的 SOA 框 染 来 进行 交 
互 ， 如 Dubbo。 服 务 化 后 ， 服 务 提供 者 可 以 根据 当前 网 站 状况 随时 打 - 
容 。 通 过 服务 注册 中 心 ， 服 务 消费 者 不 震 要 进行 任何 配置 的 更 改 ， 融 可 
以 友 现 新 的 服务 提供 者 并 使 用 它 。 


一 般 情 况 下 ， 中 等 互联 网 公司 会 友 展 为 如 上 服务 化 架构 风格 ， 系 统 之 间 
通过 SOA 服 务 进行 互动 ， 按 照 不 同 的 业务 、 功 能 进行 系统 拆 分 ， 并 交 由 
人 不同 的 团队 维护 。 


像 商品 这 种 基础 服务 ， 有 非常 多 的 系统 依赖 它 。 随 看 访问 量 的 增加 ， 尤 
其 像 单 个 读 / 单 个 与 /条 件 得 询 这 闫 访问 ， 会 因为 茶 一 种 操作 出 现 弄 蜗 造 
成 其 他 操作 不 可 用 。 因 此 ， 我 们 需要 把 这 些 操作 进行 拆 分 ， 拆 分 到 不 同 
的 服务 中 ， 从 而 使 号 出 现 问 题 时 不 会 影 啊 a 到 读 。 为 外 ， 因 为 进行 了 系统 
拆 分 ， 主 数据 库 癌 组 个 /ES 同步 时 会 有 一 定 的 延迟 ， 如 宋 需 要 强 一 致 性 


的 谈 ， 那 么 二 接 恋 主 库 吧 。 但 是 ， 不 是 所 有 的 系统 者 需要 该 主 库 ， 要 做 
出 限制 。 随 痢 应 用 部 亚 数 量 的 增多 ， 数 据 库 连接 也 会 成 为 瓶颈 ， 一 般 会 
通过 主 从 架构 提升 连接 数 。 也 可 以 使 用 MyCatCorbar 这 种 数据 库 中 间 件 
提升 连 接 数 。 所 有 应 用 只 调用 读 / 写 服务 中 间 件 ， 由 读 / 写 服务 中 间 件 访 
问 数据 库 ， 减 少 整体 的 连接 数 。 然 后 通过 MQ 有 弄 构 数据 ， 从 而 不 访问 有 


ARAN Be JE o 


商品 搜索 服务 





商品 读 服务 








商品 写 服 务 


数据 访问 层 











数据 访问 层 | 











数据 访问 层 

















商品 数据 库 -分 库 2 






商品 数据 库 -分 库 1 
anal» 商品 Redis 绥 存 集群 


商品 属性 -分 表 1 | 








| 商品 表 -分 表 1 
| 商品 表 - 分 表 2 





商品 属性 -分 表 1 
商品 属性 -分 表 2 | 
| 

















ES 搜索 集群 anal 

















随 着 流量 变 大， 缓存 、 限 流 、 防 刷 需求 变 得 越 来 越 多 ， 此 时 可 以 将 组 
存 / 限 流 / 防 刷 从 各 应 用 系统 中 拆 出 来 ， 放 到 单独 系统 实现 ， 即 接 入 层 。 














为 外 ， 随 看 网 站 友 展 ， 对 网 站 的 性 能 、 可 用 性 要 求 越 来 越 蜗 ， 对 于 前 站 
页 面 型 应 用 需要 引进 CDN 功 能 ， 并 且 业 务 系 统 要 文 持 多 机 房 多 活 ， 如 下 
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当 其 中 一 个 机 房 出 问题 时 ， 应 该 能 比较 快速 地 切换 到 另 一 个 机 房 。 使 用 
BIND 可 以 根据 用 户 卫 将 不 同 区 域 的 用 户 路 由 到 离 他 最 近 的 机 房 来 提供 
服务 ， 从 而 减少 访问 延迟 。 


通过 应 用 拆 分 和 服务 化 后 ， 扩 容 变 得 更 加 容易 ， 如 系统 处 理 能 力 跟 不 
上 ， 只 需要 增加 服务 右 即 可 。 


14.4 数据 库 拆 分 


随 着 流量 的 增加 ， 数 据 库 的 压力 也 会 随 之 而 来 ， 一 般 会 伴随 着 应 用 拆 分 
进行 数据 库 拆 分 。 如 下 图 所 示 ， 按 照 业 务 维度 进行 垂直 拆 分 ， 目 的 是 解 
决 多 个 表 之 间 的 IO 竞争 、 单 机 容量 问题 等 。 





数据 庄 
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数据 库 数据 库 数据 库 


商品 | | || 订单 | | | 用户 | 
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拆 分 后 会 出 现 ， 原 来 可 以 进行 单 库 join 答 询 ， 现 在 不 可 以 了 ， 需 要 解雇 
跨 库 join， 还 要 解雇 分 布 式 事 务 等 问题 。 路 库 join 可 以 考虑 通过 如 全 局 
表 、ES 搜 索 等 异 构 数 据 机 制 来 实现 。 数 据 库 垂直 拆 分 中 还 存在 一 种 宽 表 
拆 多 个 小 表 的 场景 ， 不 过 一 般 在 设计 时 束 会 做 这 件 事情 。 


授 照 不 同业 务 拆 分 后 ， 随 看 流量 的 增加 ， 像 商品 这 种 读 多 与 少 的 数据 库 
会 过 到 该 瓶 贷 ， 此 时 惑 需 要 使 用 谈 写 分 离 来 解决 ， 将 该 和 写 进 行 拆 分 。 










TUS Fe 


| RA i h | 


主 数据 库 
Hr 
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商品 介绍 mongodb 集 群 











分 库 分 表 是 一 种 水 平 数据 拆 分 ， 会 按照 如 ID、 用 户 、 时 间 等 维度 进行 效 
据 拆 分 ， 拆 分 算法 可 以 是 取 模 、 哈 希 、 区 间或 者 使 用 数据 路 由 表 等 。 


这 也 导致 了 前 文中 说 的 跨 库 /器 表 join、 排 序 分 页 、 自 增 ID、 分 布 式 事务 
等 问题 。 对 于 跨 库 /器 表 join 和 排序 分 足 ， 可 以 对 所 有 表 进 行 扫 插 然后 做 
聚合 ， 或 者 生成 全 局 表 、 进 行 得 询 维度 的 数据 异 构 《〈 比 如 ， 订 单 库 按 照 
碍 询 维度 异 构 出 商家 订单 库 、 用 户 订 单 库 ) ， 再 或 者 将 数据 同步 到 ES 搜 
索 。 目 增 ID 问 题 可 以 通过 不 同 表 、 不 同 目 增 步 长 或 分 布 式 ID 生 成 卓 解 
决 。 而 分 布 式 事 务 可 以 考 卡 事务 表 、 和 补 傍 机 制 ( 执 行 / 回 深 ) ~ TCC 


却 《〈 预 局/ 确认 /取消 ) 、S$agas 侦 了 式 〈 拆 分 事务 + 补偿 机 制 ) 等 ， 业 务 应 
尽量 说 计 为 最 终 一 致 性 ， 而 不 是 强 一 致 性 。 


对 于 一 些 特殊 数据 ， 我 们 可 以 考虑 NoSQL， 如 商品 介绍 很 适合 存储 在 
mongodb 集 群 中 。 


对 于 互联 网 应 用 ， 尤 其 是 商品 系统 ， 读 流量 可 能 是 写 流量 的 几 十 倍 ， 而 
单个 商品 的 查询 会 非常 多 ， 此 时 ， 可 以 考虑 使 用 如 Redis 进 行 数 据 绥 


ITa 如 下 图 所 示 。 
负载 均衡 器 YY | 负载 均衡 器 
HaProxy 


192.158.1.4 192.168.1.2 





部 署 多 个 Redis 实 例 ， 通 过 Twemproxy 并 使 用 一 致 性 哈 希 算法 进行 分 片 ， 
乞 通 过 HaProxy 进 行 Twemproxy 的 负载 均衡 ， 然 后 通过 内 网 域名 进行 访 
问 。 


还 有 如 购物 车 数据 ， 是 用 户 维 上 度数 据 ， 我 们 完全 可 以 全 量 存 储 到 KV 存 
T ee 为 了 数据 的 安全 性 ， 我 们 采用 了 双 写 架 
a, YR 不 。 


购物 车 服务 集群 
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从 RedE 集 群 从 Redis 集 群 | 从 Redis 集 群 从 RedE 集 群 | 














Boe [8] FLA NIS e E e PSR TA ELIE OR ARR, ANE IR ELE 
烦 ， 当 主 从 断 开 后 需要 全 量 更 新 时 恢复 较 慢 。 


也 可 以 使 用 程序 双 与 ， 实 现 进 辑 比 较 簿 单 且 切 换 方 便 。 程 序 双 与 可 以 是 
程序 同步 双 与 ， 与 矢 败 其 中 一 个 驶 都 失败 。 这 种 方式 性 能 兰 ， 不 适合 
机 房 同 步 与 ， 也 不 适合 同步 与 多 个 集群 。 


还 可 以 使 用 异步 双 瑟 ， 自 完 把 变更 友 布 到 数据 总 线 ( 如 通过 MQ 实 

BL) ， 然 后 订阅 数据 总 线 变 更 ， 和 寞 步 写 其 他 集群 。 这 种 方式 的 优点 是 性 
能 好 ， 缺 点 是 异步 同步 有 一 定 的 时 延 ， 数 据 一 致 性 震 一 些 ， 应 考虑 使 用 
Ra 防止 用 户 刷 新 多 次 看 到 不 一 样 的 


实时 价格 类 似 于 购物 车 染 构 ， 因 为 合 询 量 非 第 大， 我 们 会 通过 挂 更 多 的 
MRT REN HEA, OF ARTA. 
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Redis 使 用 内 存 复制 缓存 区 来 存放 主 从 之 间 要 同步 的 数据 。 当 主 从 靳 开 
WERKE, FARKA, E HRTF ARRE E 
开 的 主 从 进行 同步 时 将 会 全 量 复 制 。Redis 也 设 有 提供 闫 似 于 mysql 
































binlog 的 机 制 |。 

到 此 应 用 拆 分 和 数据 库 拆 分 束 介 绍 完 了 。 应 用 扩容 可 以 通过 部 著 更 多 的 
应 用 实例 来 解决 ， 无 法 部 署 更 多 的 实例 时 ， 束 需要 考虑 系统 拆 分 或 者 重 
新 架构 。 而 数据 库 扩 容 首 先是 人 硬件 层面 ， 然 后 按照 业务 进行 牌 直 拆 分 ， 
接着 进行 水 平 拆 分 ， 最 后 根据 流量 场景 进行 该 写 分 离 ， 还 可 以 将 读 流 量 
分 流 到 NoSQL 上 。 


14.5 数据库 分 库 分 表示 例 


数据 库 分 库 分 表 后 就 会 涉及 如 何 写 入 和 读 取 数据 的 问题 ， 应 用 开发 人 员 
主要 天 心 如 下 几 个 问题 。 


”证 个 需要 在 应 用 层 做 改造 来 文 持 分 库 分 束 ， 即 和 是 在 应 用 层 进 行文 持 ， 
还 征 通 过 中 间 件 层 呢 ? 


. 如 果 需 要 应 用 层 做 支持 ， 那 么 分 库 分 表 的 算法 是 什么 ? 
.分 库 分 表 后 ，join 是 否 支持 ， 排 序 分 页 是 否 支持 ， 事 务 是 否 支持 。 
14.5.1 JW Fi ES F RUE 

分 库 分 表 可 以 在 应 用 层 实 现 ， 也 可 以 在 中 间 件 层 实现 ， 中 间 件 层 实现 的 


好 处 是 对 应 用 透明 ， 应 用 就 像 查 单 库 单 玫 “ 样 去 查询 中 国 件 层 ， 如 下 罗 
人 小。 
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使 用 数据 库 中 间 件 层 还 有 一 个 好 处 是 可 以 文 持 多 种 编程 语言 ， 而 不 党 限 
于 特定 的 语言 。 使 用 数据 库 中 间 件 层 可 以 减少 应 用 的 总 数据 库 连 接 数 ， 
从 而 避免 因 为 应 用 过 多 导致 数据 库 连 接 不 够 用 。 缺 后 十 际 了 维护 中 间 件 
外 ， 还 要 考虑 中 间 件 的 HA/ 人 负载 均 衡 每 ， 增 加 了 部 奢 和 维护 的 困难 ， 
E X Xe EAE TA BU DT BUCH CH UEH P AMA CH AEP VE HH ER] 


目前 开源 的 数据 库 中 间 件 有 基于 MySQL-Proxy 开 发 的 奇 虎 360 的 Atlas、 
阿里 的 Cobar、 基 于 Cobar 开 及 的 Mycat 等 。 各 东 内 部 也 有 很 多 分 库 分 表 
SEHE, X WlJProxy4r 4t X255 Ee SIE, d LEA TP HAH ET ADT US e 
Atlas 只 文 持 分 表 或 分 库 (sharding 版 本 ) 、 恋 与 分 离 等 ， 不 文 持 路 库 分 
表 〈 如 分 3 个 库 每 个 库 3 张 表 ) ，sharding 版 本 不 支持 跨 库 操作 〈( 跨 库 事 
务 / 申 库 join 等 ) 。Cobar 文 持 分 库 不 文 持 分 表 【〈 如 每 个 库 3 个 表 ) ， 不 文 
FS join WESE. Myat LFN ENK, RSNA, BERS 
文 持 ， 对 路 库 join 等 有 限 文 持 〈 内 存 聚 合 ) 。 这 些 中 间 件 目前 主要 文 持 
MySQL， 但 MyCat 也 提供 了 对 Oracle 等 数据 库 的 文 持 。 


而 应 用 层 可 以 在 JDBC 了 驱动 屋 、DAO 框 架 屋 ， 如 
iBatis/Mybatis/Hibernate/JPA 上 完成 。 如 当当 的 sharding-jdbc 是 JDBC 驰 动 
层 实 现 ， 而 阿里 的 cobar-client 是 基于 DAO 框 架 iBatis 实 现 ， 如 下 图 所 

人 小。 
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应 用 系统 直接 在 应 用 代码 中 耦合 了 分 库 分 表 逻 辑 ， 然 后 通过 如 
iBatis/JDBC 直 接 分 库 分 表 实 现 。 


相对 来 说 JDBC 层 实现 的 灵活 性 更 好 ， 侵 入 性 更 少 ， 因 此 ， 本 文选 择 了 
开源 的 当当 的 Sharding-jdbc 来 进行 讲解 。Sharding-jdbc 直 接 封 装 JDBC 
API， 所 以 迁移 成 本 很 低 ， 可 以 对 如 iBatis、MyBatis、Hibernate、JPA 等 
DAO 框 架 提供 支持 ， 目 前 只 提供 了 MySQL 的 文 持 ， 未 来 计划 支持 如 
Oracle 等 数据 库 。sharding-jdbc 文 持 分 库 分 表 、 读 写 分 离 、 路 库 join/ 分 
页 /排序 等 、 弱 事务 、 和 柔性 事务 〈 最 大 努力 送 达 ) 。 因 此 ， 在 我 们 的 场 
景 中 需要 使 用 的 分 库 分 表 / 弱 事务 功能 它 都 有 。 


14.5.2 2] E OP CCS 


分 库 分 表 策略 是 指 按照 什么 算法 或 规则 进行 存储 ， 它 会 影响 数据 的 写 入 
和 读 取 ， 比 如 ， 按 照 订单 ID 分 库 分 表 ， 那 么 就 很 难 按照 客户 维度 进行 订 
单 查 询 。 因 此 ， 在 进行 分 库 分 表 时 需要 慎重 考虑 使 用 什么 策略 。 常 见 的 
策略 有 取 模 、 分 区 、 路 由 表 等 。 


1. B p 


我 们 可 以 按照 数值 型 主键 取 模 来 进行 分 库 分 表 ， 也 可 以 按照 字符 串 主 键 
哈 希 取 企 进行 分 库 分 表 ， 秆 见 的 如 订单 表 按 照 订单 ID 分 库 分 表 ， 用 户 订 
单 表 按照 用 户 ID 分 库 分 表 ， 产 品 表 按 照 产品 ID 分 库 分 表 。 取 模 的 优点 是 
数据 热点 分 散 ， 缺 扣 是 按照 非 主 键 维度 进行 得 询 时 需要 路 库 / 路 表 碍 

询 ， 扩 容 需 要 建立 新 集群 并 进行 数据 迁移 。 如 果 想 减少 扩容 时 市 来 的 肪 
烦 ， 可 以 在 初期 规划 时 元 余 足 够 数量 的 分 库 分 表 ， 比 如 一 年 规划 只 需要 
分 2 个 库 4 个 表 ， 可 以 见 余 设 计 为 4 个 库 8 个 表 ，0-1 库 在 机 此 1，2-3 库 在 机 



































器 2， 如 果 遇 到 性 能 问题 时 可 以 把 1、3 库 移 到 新 的 机 器 上 。 如 果 遇 到 容 
量 问题 ， 则 可 以 按照 如 下 步骤 进行 扩容 。 


每 人 台 物 理 机 上 有 两 个 数据 库 实 例 ， 当 遇 到 数据 库 性 能 瓶颈 时 首先 可 以 通 
过 升级 硬件 解决 ， 如 HDD 换 成 SATA SSD. SATA SSD 换 成 PCIe SSD 或 
NVMe SSD; 升级 价 件 之 后 ， 席 贷 可 能 是 做 盘 空 间或 者 网 卡 市 党 。 如 末 
还 是 不 能 解决 性 能 问题 ， 接 着 通过 扩容 物理 机 来 解决 性 能 瓶颈 。 








EID: ID % 库 数 量 
RID: ID / 库 数 量 % dé cR 







分 库 分 表 组 件 


HEID: ID%4 
KID: ID/4962 





192.168.1.1 (192.168.1.2 


order O order 1 order 2 order 3 


通过 扩容 硬件 提升 DB 性 能 


192.168.1.1 192.168.1.3 192.168.1.2 192.168.1.4 


order O order 1 order 2 order 3 


order oo] || |[torder-00)| || [terdecoo] || |[torde-oo: 
order ol|| || |[torder-o1|| || terere] || |[t-orde-or. 





当 通 过 扩容 物理 机 无 法 解决 性 能 问题 或 者 当 单 表 容量 遇 到 瓶颈 ， 可 以 进 
行 成 倍 扩容 ，4 个 库 扩容 为 8 个 库 ， 如 下 图 所 示 。 














192.168.1.1 192.168.1.3 192.168.1.2 192.168.1.4 

| order 0 | order 1 | | order_2 | order_3 | 
成 倍 扩容 库 ID: ID%8 
| KID: ID/8962 


192.168.1.1 192.168.1.3 192.168.1.2 





192.168.1.4 


| order 4 | order 6 | 


成 倍 扩容 后 的 数据 迁移 可 以 这 样 实现 ， 先 挂 数 据 库 主 从 Corder_4-- 





>order 0) ， 当 数据 库 主 从 同步 完成 后 ， 停 应 用 写 数 据 库 并 等 待 一 段 时 
辣 以 你 证 主 从 同步 完成 ， 接 看 更 新 分 库 分 表 规 则 并 局 动 应 用 进行 写 库 ， 
最 后 删除 各 个 库 的 元 余数 据 即 可 。 


分 库 数 量 不 古越 多 越 好 ， 可 以 参考 “第 12 草 ”连接 闻 线 程 池 详解 ”相关 草 
下， 分 库 太 多 会 寻 致 消耗 更 多 的 数据 库 连 接 ， 并 且 应 用 会 创建 更 多 的 线 
呈 。 这 种 情况 下 数据 代理 中 间 件 会 是 更 好 的 选择 。 


可 按照 时 间 分 区 、 范 围 分 区 进行 分 库 分 表 ， 时 间 分 区 规则 如 一 个 月 一 个 
表 、 一 年 一 个 库 。 范 围 分 区 规则 如 0~2000 万 一 个 表 ，2000~4000 万 一 个 
表 。 如 果 分 区 规则 很 复杂 ， 则 可 以 有 一 个 路 由 表 来 存储 分 库 分 表 规 则 。 
分 区 的 缺点 是 存在 热点 ， 但 是 易于 水 平 扩展 ， 能 避免 数据 迁移 。 
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14.5.3 ”使 用 sharding-jdbc 分 库 分 表 


在 数据 库 设 计 起 初 一 般 痢 是 单 库 单 表 设 计 ， 随 看 数据 量 的 增长 将 市 来 存 
fia E EBORE ETE BEA SA In el. HIR ERE IRE, HU n] PESE] PE SI E 
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现 性 能 问题 要 从 很 多 维度 去 分 析 ， 如 果 经 过 分 析 得 以 解决 ， 则 我 们 可 以 
继续 早 库 分 表 ， 如 下 里 库 分 表 确实 有 问题 ， 则 要 进行 分 库 分 表 解 决 。 比 
如 ， 电 两 系统 的 商品 数据 库 ， 束 会 存在 这 种 问题 。 为 了 演示 方便 ， 我 们 
将 商品 数据 库 分 为 2 个 奋 ， 每 个 库 2 个 表 ， 使 用 MySQL 数 据 库 。 





1. 数 据 库 DDL 
创建 2 个 库 ， 每 个 库 2 个 表 ， 即 N AO. 1, M 为 0、1， 然 后 执行 如 下 脚 


Oo 


CREATE DATABASE IF NOT EXISTS product N; 
CREATE TABLE product M( 

id bigint primary key, 

title varchar (255), 

last modified datetime 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 


2. 数 据 源 配置 


使 用 DBCP ”2 配置 2 个 DataSource，abstractDataSource 把 公共 部 分 抽取 为 
父 Bean， 可 参考 “第 12 章 连接 凶 线 程 池 详 解 ?部 分 进行 配置 。 


<bean id-"dataSource 0" parent-"abstractDataSource"» 
<property name-"url" 
value-"jdbc:mysq1://192.168.1.2:3306/product 0"/> 
<property name-"username" value="root"/> 
<property name="password" value="root"/> 
</bean> 


<bean id="dataSource 1" parent="abstractDataSource"> 
<property name-"url" value="jdbc:mysql://192.168.1.3:3306/ product 1"/> 
<property name="username" value="root"/> 
<property name="password" value="root"/> 

</bean> 


14.5.4 sharding-jdbc 分 库 分 表 配 置 


本 文 使 用 sharding-jdbc 1.3.2 f it. 


<dependency> 
<groupId>com. dangdang</groupId> 
<artifactId>sharding-jdbc-core</artifactId> 
«version»1.3.2«/version» 

</dependency> 

<dependency> 
<groupId>com. dangdang</groupId> 
<artifactId>sharding-jdbc-transaction</artifactId> 
<version>1.3.2</version> 

</dependency> 

<dependency> 
<groupId>com.dangdang</groupId> 
<artifactId>sharding-jdbc-config-spring</artifactId> 
<version>1.3.2</version> 

</dependency> 


如 下 配置 可 实现 分 2 个 库 ， 每 个 库 分 2 个 表 。 


<!-- 分 库 规 则 --> 
«rdb:strategy id-"dataSourceStrategy" 
sharding-columns-"id" 
algorithm-expression- 
"dataSource ${Math.floorMod(id.longValue(),2L) }"/> 
«1-- 分 表 规 则 --> 
«rdb:strategy id="productTableStrategy" 
sharding-columns-"id" 
algorithm-expression- 
"product S$(Math.floorMod (Math.floorDiv (id.longValue(),2L 
) , 21) }"/> 


«1-- 分 库 分 表 数 据 源 --> 
«rdb:data-source id-"shardingDataSource"» 
<!-- 使 用 的 真实 数据 源 --» 
<rdb:sharding-rule data-sources-"dataSource 0,dataSource 1"> 
«rdb:table-rules» 
<!-- 分 表 规 则 : 分 库 策 略 、 分 表 策 略 、 逻 辑 表 名 、 实 际 表 名 --> 
«rdb:table-rule 
database-strategy-"dataSourceStrategy" 
table-strategy-"productTableStrategy" 
logic-table="product" 
actual-tables-"product ${0..1}"/> 
</rdb:table-rules> 
</rdb: sharding-rule> 
«/rdb:data-source» 


分 库 DRR ”: 使 用 Sharding-columns 指 定 分 库 分 表 键 ，algorithm- 

expression 指 定 分 库 分 表 和 策略， 我 们 按照 ID 分 了 两 个 库 ， 每 个 库 两 张 

表 。 算 法 为 : 库 ID = id 96 库 数 量 ， 表 ID = id / 库 数 量 % BRAS. 

库 ID = id 96 RANE / 单 库 表 数 量 ， 表 ID = id 96 RA 
FA o 


分 库 分 表 数 据 源 : 配置 分 库 数 据 源 ， 其 会 按照 分 库 案 略 (table-rule/ 
database-strategy ) 选择 使 用 哪 一 个 数据 产 。 然 后 使 用 table-strategy 配 置 
分 表 策 略 来 选择 使 用 哪 一 张 表 。logic-table 是 逻辑 表 名 ， 写 SQL 时 使 用 这 
个 标识 ， 然 后 会 根据 分 表 策 略 和 actual-tables 决 定 真 实 表 名 。 


sharding-jdbc 的 分 库 分 表 算 法 是 独立 上 的 ， 即 分 库 可 以 使 用 一 和 套 规 则 ， 分 
表 可 以 使 用 一 套 规则 ， 如 订单 库 投 照 商 家 ID 分 库 ， 然 后 每 个 库 按 照 订单 
ID 分 表 。 如 来 你 的 分 库 分 表 委 略 太 复 森 ， 则 可 以 使 用 algorithm-class 指 
定 SingleKeyDatabaseShardingAlgorithm/ 
MultipleKeysDatabaseShardingAlgorithm. 
SingleKeyTableShardingAlgorithm/MultipleKeys TableShardingAlgorithm 
分 库 分 表 实 现 算法 ， 其 支持 单个 键 /多 个 组 合 键 作为 分 片 键 。 分 库 分 表 
算法 支持 如 =、BETWEEN、IN 等 多 维度 实现 。 


1. 事 务 管理 器 配置 
配置 弱 事 务 管理 器 在 大 多 数 场景 够 用 了 。 


<!-- 事务 管理 器 ， 此 处 使 用 级 事务 --> 
<bean id="transactionManager" 
class="org.springframework.jdbc.datasource. 
DataSourceTransactionManager"> 
<property name="dataSource" ref="shardingDataSource"/> 
</bean> 


此 处 我 们 使 用 了 弱 事 务 机 制 ， 如 下 图 所 示 ， 事 务 不 是 原子 的 ， 可 能 提 区 
分 库 1 事 务 后 ， 提 交 分 库 2 事 务 失 败 ， 造 成 路 库 事务 人 不一致。 可 以 考虑 
sharding-jdbc 提 供 的 柔性 事务 实现 。 





开始 分 库 1 事 务 
开始 分 库 2 事务 












提交 / 回 滚 分 库 1 事 务 | 
提交 / 回 滚 分 库 2 事务 
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作 实 现 ， 是 在 假定 数据 库 操作 一 定 可 以 成 功 的 前 提 下 进行 的 ， 保 证 数据 
最 终 的 一 致 性 。 其 适用 场景 是 贤 符 性 操作 ， 如 根据 主键 删除 数据 、 币 主 
健 地 插入 数据 、 更 狐 记 录 最 后 状态 (如 商品 上 下 染 操 作 )。 


Sharding-JDBC 的 最 大 努力 送 达 型 柔性 事务 分 为 同步 送 达 和 异步 送 达 两 
种 ， 同 步 送 达 不 需要 ZooKeeper 和 elastic-job， 内 置 在 柔性 事务 模块 中 。 

但 是 在 有 些 场 景 下 ， 事 务 需 要 经 过 一 段 时 间 才 能 准备 完毕 ， 则 可 通过 异 
步 送 达 ， 腊 步 送 达 比 较 复 杂 ， 是 对 和 柔性 事务 的 最 终 补 偿 ， 不 能 和 应 用 程 
序 部 署 在 一 起 ， 需 要 额外 地 通过 elastic-job 实 现 。 异 步 送 达 是 对 同步 送 达 
的 有 效 补 充 ， 但 即使 不 配置 异步 送 达 ， 同 步 送 达 机 制 也 可 以 正常 使 用 。 

最 大 努力 送 达 型 事务 也 可 能 出 现 错误 ， 即 无 论 如 何 补偿 都 不 能 正确 提 

交 。 为 了 避免 反复 尝试 带 来 的 系统 开销 ， 同 步 送 达 和 异步 送 达 均 可 配置 
最 大 重 试 次 数 ， 超 过 最 大 重 试 次 数 的 事务 将 进入 失败 列表 ， 需 要 定期 进 
行人 工 干 预 。 有 基体 使 用 请 参考 sharding-jdbc 官 方 文档 。 


在 一 般 场 景 中 ， 只 要 傈 证 单 库 事务 能 工作 即 可 ， 蜂 库 通 过 一 些 机 制 你 证 
最 终 一 致 性 即 可 ， 在 高 并 肥 局 可 用 的 场景 下 不 应 该 有 来 用 强 一 致 便 型 。 


2.1 Ae 18 


在 实际 使 用 时 ， 通 过 JDBC 模 板 和 编程 陈 完 成 事务 开 及 ， 通 过 AOP 机 制 
配置 事务 。 


/ /获取 分 库 分 表 数 据 源 
DataSource shardingDataSource = 
(DataSource) ctx.getBean ("shardingDataSource"); 
// 创 建 JdbcTemplate 
JdbcTemplate jdbcTemplate = new JdbcTemplate(shardingDataSource) ; 
/ RES E REA 
AbstractPlatformTransactionManager transactionManager = 
(AbstractPlatformTransactionManager) ctx.getBean ("transactionM 
anager") ; 
/ /创建 事务 模板 
TransactionTemplate transactionTemplate = 
new TransactionTemplate (transactionManager); 
// 执 行 SQL (product 是 逻辑 表 名 、id 是 分 库 分 表 键 ) 
transactionTemplate.execute(new TransactionCallbackWithoutResult() { 
@Override 
protected void doInTransactionWithoutResult (TransactionStatus 
transactionStatus) { 
jdocTemplate.update ("insert into product (id,title,last modified) 
values (?, ?, ?)", 1L, "title", new Date()); 


} 
y 
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被 蔡 换 为 如 product_1 这 种 实际 表 名 ， 即 实际 SQL 会 是 如 下 样子 : 


INSERT INTO product_1 (id, title, last modified) VALUES (?, ?, ?) 
14.5.5 1¥ H sharding-jdbcit 5 77 8 

晨 独 数据 库 谈 访问 量 的 增长 ， 主 库 不 能 承 党 更 多 的 读 访 问 ， 此 时 ， 可 以 
通过 给 主 库 挂 从 库 ， 然 后 把 读 访 问 分 法 到 从 库 来 减少 主 库 的 压力 。 
sharding-jdbci iw fay 42 AY BIO ELS RJ ASC PE TS o 

读 写 分 离 数据 源 配 置 


通过 如 下 配置 束 可 以 实现 读 写 分 离 ， 即 配置 一 个 主 库 和 两 个 从 库 。 


«rdb:master-slave-data-source id-"dataSource 0" 
fàáster-datá-source-ref ="datasource master 07 
slave-data-sources-ref-"dataSource slave 0,dataSource slave 1"/» 


使 用 如 上 配置 读 请 求 会 通过 路 由 到 达 从 库 ， 但 是 ， 假 设 刚刚 写 入 数据 ， 
此 时 立即 读 的 话 可 能 读 不 到 ， 因 为 MySQL 默 认 使 用 异步 复制 ， 复 制 是 
A EDRI. MIRME SSE, OEHn 
读 取 主 库 。 


HintManager.getInstance ().setMasterRouteOnly(); 
jdbcTemplate.queryForL ist("select id, title form product where id=?", 1L); 


Sharding-JDBC 的 谈 与 分 离 为 了 最 大 限度 避免 由 于 同步 延迟 而 产生 强制 
该 取 主 库 的 场景 ， 在 更 新 方面 做 了 优化 ， 在 一 个 请 求 线程 中 ， 只 要 存在 
对 数据 库 的 更 新 操作 ， 则 在 此 操作 之 后 的 任何 对 数据 库 的 访问 都 会 目 动 
通过 路 由 达到 主 库 。 因 此 ， 在 写 后 谈 的 场景 中 不 需要 使 用 
HintManager， 只 有 在 斌 场景 下 ， 需 要 强制 谈 主 库 时 ， 才 使 用 
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14.6 ”数据 开 构 


分 库 分 表 后 将 市 来 很 多 问题 ， 如 路 库 join、 非 分 库 分 表 维 度 的 条 件 奉 
询 、 分 页 排序 等 。 前 面 我 们 所 到 了 可 以 扫 摘 全 部 雪 通 过 内 存 聚 合 、 效 扼 
FY (EWK ESER FHR) FRK. HEFER AA 
询 维度 建立 表 结 构 ， 这 样 融 可 以 按照 这 种 不 同 维度 进行 查询 。 数 据 异 构 
A fuum E. FRA BERS 


在 数据 量 和 访问 量 双 高 时 使 用 数据 寞 构 是 非常 有 效 的 ， 但 增加 了 架构 的 
复 林 上 度 。 异 构 时 可 以 通过 订阅 MQ 或 者 binlog 并 解析 实现 。 


14.6.1 查询 维度 异 构 
比如 对 于 订单 库 ， 当 对 其 分 库 分 表 后 ， 如 果 想 按照 商家 维度 或 者 按照 用 


户 维度 进行 查询 ， 那 么 是 非 营 困难 的 ， 因 此 可 以 通过 录 构 数据 库 来 解雇 
这 个 问题 。 可 以 采用 下 图 的 染 构 。 






商家 ID 分 库 分 表 
商家 维度 订单 分 库 1 
商家 维度 订单 分 库 2 











VW) FID Ap Fe ap Ze 
订单 分 库 1 
订单 分 库 2 






用 尸 维度 订单 分 库 1 
用 户 维 度 订 单 分 库 2 





或 者 采用 下 图 的 











订单 分 库 1 











订单 分 库 2 


异 构 数 据 主要 存储 数据 之 间 的 关系 ， 然 后 通过 得 询 源 库 查 询 实际 数据 。 
不 过 ， 有 时 可 以 通过 数据 元 余 存 储 来 减少 源 库 得 询 量 或 者 捉 升 得 询 性 


14.6.2 KARTS 


商品 详情 页 中 一 般 包括 商品 基本 信息 、 商 品 属性 、 丙 品 图 片 ， 在 前 站 展 
示 商 品 详情 外 时， 是 按照 商品 包 维度 进行 合 询 ， 并 且 和 需要 伍 询 3 个 其 至 
更 多 的 库 才 能 但 到 所 有 展示 数据 。 此 时 ， 如 果 其 中 一 个 夯 不 稳定 ， 束 会 
导致 疝 品 详情 页 出 现 问 题 ， 因 此 ， 我 们 把 数据 聚合 后 开 构 存储 到 KV 存 
储 集 群 〈 如 存储 JSON) ， 这 梓 只 需要 一 次 得 询 束 能 得 到 所 有 的 展示 数 
据 。 这 种 方式 也 需要 系统 有 了 了 一定 的 数据 量 和 访问 量 时 青 考 虑 。 尔 东 丙 
品 详 情 页 吏 是 采用 这 种 天 构 机 制 。 
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商品 KV 存储 集群 








具体 实现 请 参考 第 15 草 中 基于 Canal 实 现 数 据 异 构 部 分 。 


14.7 ”任务 系统 扩容 


在 开发 系统 时 ， 有 时 需要 在 特定 的 时 间 点 执行 一 些 任务 ， 或 者 周期 性 地 
执行 一 些 任 务 。 比 如 ， 每 天 凌 展 删除 过 期 的 垃圾 消息 、 每 天 凌晨 进行 报 
表 统 计 、 每 天 竣 展 进行 数据 结 转 ， 或 者 每 隔 10 分 钟 处 理 一 次 超时 未 支付 
的 订单 、 每 隔 10 秒 删除 过 期 的 活动 等 。 对 于 一 般 单 实例 任务 ， 使 用 如 
Thread. Timer, ScheduledExecutor, Quartz LL Eger, Wee 
局 可 用 或 分 布 式 版 本 ， 则 可 以 选择 Quartz 集 群 版 、tbschedule、elastic-job 
Af 
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14.7.1 ”简单 任务 


在 一 般 情 况 下 ， 我 们 使 用 Thread 束 能 满足 需求 ， 如 第 15 半 中 使 用 
EventPublishThread 线 程 抓 取 任务 并 交 给 Disruptor 处 理 。 一 般 Thread 的 使 
用 方法 如 下 。 


while(true) { 
// 任 务 处 理 
// 休 眼 等 待 
} 


即使 用 Thread， 一 般 部 是 死 循环 抓 取 并 处 理 任务 ， 如 由 没有 任务 ， 则 可 
以 休眠 一 下 ， 然 后 继续 答 试 抓 取 任务 ， 为 了 保证 任务 能 及 时 被 处 理 ， 体 
眠 时 间 非 党 得， 一 般 为 几 坚 秒 到 几 秒 。 比 如 要 获取 任务 表 中 状态 为 未 处 
理 的 任务 并 进行 处 理 ， 处 理 成 功 后 将 状态 更 新 为 已 处 理 ， 则 可 以 使 用 如 
上 介绍 的 Thread 方 式 。 

如 采 需 要 周期 性 地 执行 任务 ， 则 可 以 使 用 Timer。 
Timer#schedule(TimerTask task, long delay, long period) 

/周期 性 地 执行 TimerTask， 首 次 执行 时 间 为 〈 当 前 时 间 +delay ) 


Timer#schedule(TimerTask task, Date firstTime, long period) 


/周期 性 地 执行 TimerTask， 首 次 执行 时 间 为 firstTime 


period 的 单位 为 蛙 秒 ， 如 采 period 为 0， 则 表示 一 次 性 任务 ， 执 行 完成 后 

将 从 任务 队列 补 移 除 。Timer 内 部 通过 一 个 TimerThread 来 循环 执行 提 和 区 
给 Timer 的 任务 ， 比 如 MySQL JDBC 驱 动 就 使 用 Timer 来 处 理 Statement 执 
行 超时 。 因 为 提交 给 Timer 的 任务 是 被 单个 TimerThread 处 理 的 ， 因 此 任 
务 是 串 行 处 理 的 ， 前 一 个 任务 延迟 了 将 会 影响 到 后 续 所 有 任务 ， 当 然 也 
可 以 局 动 多 个 Timer 来 实现 。 但 是 ， 如 条 任务 处 理 不 是 密集 型 的 ， 那 么 

将 造成 线程 休眠 ， 从 而 被 浪费 ， 因 此 ， 如 果 需 要 更 灵活 的 周期 性 任务 处 
理 ， 则 可 以 使 用 ScheduledExecutorService， 它 基于 线程 池 实 现 ， 任 务 可 
以 被 线程 池 中 的 一 个 线程 处 理 ， 从 而 实现 线程 的 复 用 。 


ScheduledExecutorService#scheduleAtFixedRate(Runnable command, long 
initial Delay, long period, TimeUnit unit) /固定 速率 执行 周期 性 任务 


ScheduledExecutorService#scheduleWithFixedDelay(Runnable | command, 
long initialDelay, long period, TimeUnit unit) /固定 延迟 执行 周期 性 任务 


其 中 ，initialDelay 指 定 初 次 执行 延迟 ，period 指 定 周期 ，unit 指 定 延 迟 和 
周期 的 时 间 单 位 。scheduleAtFixedRate 是 用 固定 速率 执行 周期 性 任务 ， 
即 相 对 于 上 一 次 任务 开始 时 间 往 后 推 period 时 间 后 执行 下 一 次 任务 。 假 
设 上 一 次 任务 开始 时 间 为 10:00，period ”为 10s， 任 务 执 行 时 长 为 5s5， 那 
么 ScheduleAtFixedRate 在 10:10 会 执行 下 一 次 任务 ， 如 采 任 务 执行 时 长 为 
15s， 那 么 ScheduleAtFixedRate 在 10:15 会 执行 下 一 次 任务 。Timer 也 是 用 
定 速率 执行 周期 性 任务 。scheduleWwithFixedDelay 是 固定 延迟 执行 周期 
性 任务 ， 即 相对 于 上 一 次 任务 结束 时 间 往 后 推 period 时 则 后 执行 下 一 次 
任务 。 

使 用 Timer 和 ScheduledExecutorService 实 现 类 似 在 每 周二 1:00:00 执 行 任 
务 是 比较 有 奢 烦 的 ， 此 时 ， 可 以 使 用 Quartz 或 者 Spring — Task 实现。Spring 
Task 配 置 答 单 ， 在 单 实例 任务 场景 下 ， 笔 者 伺 好 于 使 用 Spring Task 实 
现 。 


«task:scheduler id="scheduler" pool-size="10"/> 


<task:scheduled-tasks scheduler="scheduler"> 


<!-- 每 天 两 点 执行 --> 
<task:scheduled ref="r elationClearTask" method="autoClearRelation" 
eron="0 0 2 * * "73 
«/task:scheduled-tasks» 
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14.7.2 ”分 布 式 任务 


使 用 上 述 机 制 进行 单 实 例 任务 处 理 时 是 单 点 作业 ， 如 来 实例 失效 了 ， 那 
么 任务 可 能 得 个 到 执行 ， 为 外 ， 如 果 蛙 实例 任务 处 理 直 到 租 贷 ， 则 不 太 
容易 做 到 动态 扩容 。 因 此 ， 我 们 需要 任务 局 可 用 和 动态 扩容 ， 此 时 残 需 
要 分 布 式 任务 。 使 用 分 布 式 任务 后 ， 当 一 个 实例 失效 ， 则 可 以 将 任务 园 
移 a 到 其 他 实例 进行 处 理 。 分 布 式 任务 文 持 任 务 分 片 ， 当 任务 处 理 过 到 笨 
领 ， 可 以 扩充 任务 实例 来 捉 升 任务 处 理 能 


Quartz 文 持 任 务 的 集群 调度 ， 如 果 一 个 实例 失效 ， 则 可 以 漂移 到 其 他 实 
例 进 行 处 理 ， 但 是 其 不 文 持 任务 分 片 。tbschedule 和 elastic-job 除 了 文 持 
集群 调度 特性 ， 还 文 持 任 务 分 片 ， 从 而 可 以 进行 动态 扩容 /纵容 。 
tbschedule 和 elastic-job 都 能 泣 足 我 们 的 场景 需求 。 在 本 书 出 版 时 ， 唯 品 
会 也 开源 了 基于 elastic-job 开 发 的 Saturn， 率 东 内 部 也 有 相关 实现 ， 但 在 
本 书 出 版 前 暂 未 开源 。 本 章 选 择 elastic-job 来 讲解 分 布 式 任务 。 


14.7.3 Elastic-Job 人 简介 


Elastic-Job 是 当当 开源 的 一 鞠 分 布 式 任务 调度 框架 ， 目 前 提供 了 两 个 独 
IWH: Elastic-Job-Lite 和 Elastic-Job-Cloud 。 


Elastic-Job-Lite 定 位 为 轻 量 级 无 中 心 解决 方案 ， 可 以 动态 暂 人 /恢复 任务 
实例 ， 目 前 不 文 持 动态 扩容 任务 实例 。Elastic-Job-Cloud 使 用 Mesos + 
Docker 解 决 方案 ， 可 以 根据 任务 负载 来 动态 实现 局 动 / 俘 止 任务 实例 ， 
以 及 任务 治理 。Elastic-Job-Cloud 目 前 还 处 于 开发 中 。Elastic-Job-Lite 和 
Elastic-Job-Cloud 使 用 同一 套 任 务 API， 一 次 开发 并 根据 需要 以 Lite 或 
Cloud 的 方式 部 署 。 本 书 会 重点 介绍 Elastic-Job-Lite。 尖 于 Elastic-Job- 
Cloud， 可 以 从 家 网 中 了 解 其 最 新 动 问 。 


14.7.4 Elastic-Job-Lite 功 能 与 架构 


Elastic-Job-Lite 实 现 了 分 布 式 任务 调度 、 动 态 扩 容 缩 容 、 任 务 分 片 、 失 
效 转 移 、 运 维 平 台 等 功能 。 


1. 整 体 架 构 









任务 实例 


Elastic-Job-Lite 分 片 1 LS 
S 
Elastic-Job-Lite 4j }4 2 Elastic-Job-Lite 4} H 3 
^ n 


Elastic-Job-Lite Console 
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时 目 动 触发 任务 调度 ， 通 过 任务 分 厂 的 概念 实现 服务 器 负载 的 动态 扩 
容 / 缩 容 ， 并 且 使 用 ZooKeeper 作 为 分 布 式 任务 调度 的 注册 和 协调 中 心 ， 
当 菏 任务 实例 月 尝 后 ， 目 动 失效 转移 ， 实 现 融 可 用 ， 并 提供 了 运 维 控 制 
台 ， 实 现任 务 参 数 的 动态 修改 。 


2. 任 务 分 斤 


任务 如 果 并 行 处 理 或 者 分 布 式 处 理 ， 则 需要 使 用 任务 分 片 ， 即 把 任务 拆 
MN 个子 任 务 。 比 如 ， 我 们 需要 表 历 某 张 数据 库 表 ， 现 在 有 1 台 服 务 
研 ， 为 了 实现 多 线程 处 理 ， 此 时 可 以 将 数据 分 片 为 10 份 ，nid % 10, Al 
么 会 有 10 个 线程 并 发 处 理 这 些 任 务 ， 从 而 提升 了 处 理性 能 。 如 果 有 两 台 
服务 妖 ， 并 且 还 将 数据 分 族 为 10 份 ， 加 id 96 10， 那 么 机 需 1 会 处 理 
1,3,5,7,9; JLZ8242z: 4E380,2,4,6,81. 每 台 机 需 是 5 个 线程 并 发 处 理 任 务 。 通 
过 任务 分 片 可 以 实现 任务 并 发 处 理 ， 通 过 增加 机 器 可 以 实现 动态 扩容 / 
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14.7.5 Elastic-Job-Lite7 (| 
1./H 3) ZooKeeper 


Elastic-Job 使 用 ZooKeeper 进 行 分 布 式 任务 调度 〈 本 而 使 用 的 是 


ZooKeeper-3.4.9) ， 执 行 如 下 脚本 后 司 动 ZooKeeper。 


./bin/zkServer.sh start 
2. 1s JI Elastic-Job-Lite/4& $ 


下 面 还 加 Elastic-Job-Lite 依 顿 〈 本 文 使 用 最 新 的 Elastic-Job-Lite 2.x) , 
其 API 与 1.x 完 全 不 同 。 


<dependency> 
<groupId>com.dangdang</groupId> 
«artifactlId»elastic-job-lite-core«/artifactId» 
<version>2.0.0</version> 

</dependency> 

<dependency> 
<groupId>com.dangdang</groupId> 
«artifactlId»elastic-job-lite-spring«/artifactId» 
<version>2.0.0</version> 

</dependency> 
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为 了 便于 统一 名 词 ， 在 本 书 中 不 区 分 任务 与 作业 。Elastic-Job 提 供 了 三 
种 类 型 的 任务 : Simple 类 型 任务 〈 最 简单 的 实现 ， 文 持 分 片 特性) 、 
Dataflow 类 型 任务 (将 任务 的 数据 抓 取 和 人 处理 分 离 ) 和 Script 类 型 任务 
(脚本 类 型 任务 ， 如 ShelV/Python 脚 本 等 )。 


Simple 类 型 任务 


public class MySimpleJob implements SimpleJob { 
public void execute(ShardingContext shardingContext) 
switch (shardingContext.getShardingItem()) { 
// 任 务 按 照 主 键 TD 分 3 片 (ID $ 3) 
case 0: // 分 片 0 
process (feteni0, 3, 6, 9) 3 
break; 
case 1: //42])H 1 
process (Terenti; 4; TIY? 
break; 
case 2: // 分 片 2 
SN 本 二 = 
break; 


通过 Simple 类 型 任务 实现 SimpleJob#execute 即 可， 然后 再 根据 分 片 配置 


信息 进行 分 乒 处 理 实现 。 
Dataflow 类 型 任务 


public class MyDataflowJob implements DataflowJob<String> { 


public List<String> fetchData(ShardingContext shardingContext) 


| 


public voidprocessData(ShardingContext shardingContext, List«String» 


data) { 


Dataflow 关 型 任务 将 任务 分 为 抓 取 数据 CfetchData). 和 处 理 数 据 
(processData) 两 部 分 。 其 中 ， 流 式 任务 只 有 妆 fetchData 方 法 返回 值 为 

null 时 ， 任 务 才 仿 止 抓 取 ， 否 则 任务 将 一 直 运 行 下 去 。 非 流 式 任 务 在 每 

次 任务 执行 过 程 中 ， 只 执行 一 次 fetchData 和 processData 方 法 。 可 以 在 任 


switch (shardingContext.getShardingItem()) 


/ /任务 按照 主键 ID 分 3 片 (ID $ 3) 
case 0: // 分 片 0 

return fetch(0, 3, 6, 9); 
case 1: // 分 片 1 

return fetch(0, 3, 6, 9); 
case 2: // 分 片 2 

return fetch(0, 3, 60, 9); 

} 


return null; 


// 任 务 处 理 
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4. 任 务 配置 与 局 动 


Plastic-Job 文 持 Java 配 置 和 Spring 配置 文件 配置 任务 ， 本 文选 择 使 用 


Spring 配置 文件 配置 。 
配置 ZK 注册 中 心 


«reg:ZooKeeper id="regCenter" 


servear-llsts-"192.1068.061.129*2181" 
namespace-2"my-job" 
connection-timeout-milliseconds-"2000" 
session-timeout-milliseconds="3000" 
base-sleep-time-milliseconds="1000" 
max-sleep-time-milliseconds-"3000" 


nmax=reLries="3"/> 


| 


Elastic-Job 使 用 Apache Curator 客 户 凯 来 连接 ZK， 配 置 参 数 如 下 所 示 。 
server-lists: ZooKeeper 服 务 器 列表 ， 多 个 地 址 用 逗号 分 隔 。 


namespace: ”当前 注册 中 心 使 用 的 是 ZooKeeper 合 名 空间 ， 不 同 英 型 的 
任务 可 以 放 到 不 同 的 命名 空间 。 


connection-timeout-milliseconds: ZK 连接 超时 时 间 ， 默 认为 15000ms。 
session-timeout-milliseconds: ZK 会 话 超时 时 间 ， 默 认为 60000ms。 
digest: 连接 ZK 时 的 权限 令 牌 ， 默 认 不 需要 权限 验证 。 


base-sleep-time-milliseconds: ”使 用 ExponentialBackoffRetry 指 数 退 可算 
法 重 试 时 的 初始 重 试 时 间 ， 默 认为 1000ms。 


max-sleep-time-milliseconds: “使 用 ExponentialBackoffRetry 指 数 退 避 算 
法 重 试 时 的 最 大 重 试 时 间 ， 默 认为 3000ms。 


max-retries: ”使 用 ExponentialBackoffRetry 指 数 退 避 算 法 的 最 大 重 试 次 
BX o 


配置 Simple 类 型 任务 


<job:simple registry-center-ref-"regCenter" 
id-"mySimpleJob" 
class-"com.elasticjob.MySimpleJob" 
GeOgH-"DZlg * ow o» wm 
sharding-tetal—count=" 3" 
sharding-item-parameters="0=A, 1=B, 2=C" 
job-parameter="pageSize=5" 
disabled="false" 
overwrite="false"/> 


配 首 参数 如 下 所 不 。 
registry-center-ref: 配置 使 用 的 注册 中 心 。 
id: 任务 /作业 和 名称 。 


class: ”Simple 类 型 任务 实现 类 。 
cron: ”cron 表达 式 ， 配 置 作业 触发 时 间 ， 目 前 使 用 Quartz 表 达 式 。 


sharding-total-count: ” 忌 的 任务 分 厂 数 ， 通 过 它 来 实现 任务 并 友 执 行 和 


分 布 式 。 
sharding-item-parameters: 分 片上 序号 和 参数 关系 。 
job-parameter: 任务 目 定义 参数 ， 如 每 次 租 询 数据 库 表 的 每 页 记录 


数 ， 通 过 它 可 以 实现 动态 分 页 参数 配置 。 


diasbled: ”任务 默认 是 售 是 茶 目 司 动 ， 当 部 闭 任 务 时 再 要 先 苯 用 ， 部 赦 
后 统一 启动 时 可 以 配置 。 


overwrite: ”是 人 奋 使 用 本 地 参数 配置 履 新 注册 中 心 配 置 ， 如 果 和 新 ， 那 
么 任务 启动 时 以 本 地 配置 参数 为 准 。 


job-sharding-strategy-class: ”任务 分 厂 算 法 ， 默 认 使 用 平均 分 配 算法 ， 
可 以 进行 算法 的 目 定义 。 

这 里 要 注意 以 下 几 点 。 

”任务 实例 是 以 服务 器 ID+JOB ID 作 为 唯一 标识 来 区 分 的 ， 即 使 一 台 服 
务 器 部 署 了 多 个 实例 ， 目 前 Elastic-Job 也 会 把 它们 看 作 同 一 个 实例 ， 如 


果 同 一 人 台 服 务 需 部 署 多 个 实例 ， 则 可 能 导致 相同 任务 的 重复 执行 。 因 此 
一 台 服 务 需 应 只 部 署 一 个 任务 实例 。 

任务 的 参数 在 任务 实例 第 一 次 局 动 后 注册 到 注册 中 心 ， 之 后 任务 实例 
重启 后 ， 任 务 参 数 将 以 注册 中 心 的 为 准 ， 更 改 本 地 配置 是 不 起 作用 的 ， 
可 以 在 任务 控制 台 进 行 参 数 更 改 。 如 果 配 置 了 overwrite=true， 则 将 以 本 
地 配置 为 准 。 


sharding-item-parameters 可 以 为 不 同 的 任务 分 厂 配 置 个 性 化 参数 ，job- 
parameter 可 以 为 所 有 的 任务 分 厂 配 置 参数 。 


任务 类 中 的 ShardingContext 提 供 了 任务 分 斤 上 下 文 参数 。 


-jobName: 任务 名 称 /ID。 


: jobParameter: ”任务 目 定 义 参 数 。 


shardingTotalCount: 总 的 分 片 数 量 ， 可 以 根据 它 分 别 抓 取 任务 数 
据 。 


-shardingItem: 分 配 本 任务 实例 的 分 厂 友 号 。 
-shardingParameter: 分 配 本 任务 实例 的 分 厂 参 数 。 
配置 Dataflow 类 型 任务 


«job:dataflow registry-center-ref="regCenter" 
id-"myDataflowJob" 
class-"com.elasticjob.MyDataflowJob" 
cron="*/10 * F * Æ um" 
streaming-process="false" 
sharding-total-count="3" 
sharding-item-parameters="0=A, 1=B, 2=C" 
job-parameter-"pageSize-5" 
disabled="false" 
overwrite="false"/> 


参数 配置 和 Simple 类 型 任务 差不多 ， 只 是 多 了 一 个 streaming-process， 然 
后 判断 其 配置 是 售 是 流 式 处 理 数 据 ， 如 采 古 流 式 处 理 数 据 ， 那 么 
fetchData 方 法 返回 空 时 ， 才 结束 执行 任务 。 如 果 是 非 流 式 处 理 数据 ， 那 
么 只 执行 一 次 fetchData 和 processData 方 法 ， 然 后 任务 执行 就 结束 了 。 
接着 局 动 加 载 Spring 配 置 文件 的 JVM 实 例 ， 即 可 局 动 任务 。 

任务 控制 台 


Elastic-Job-Lite 提 供 了 elastic-job-lite-console 控 制 侣 ， 用 于 动态 配置 任 
务 。 下 载 elastic-job-lite-console 并 部 普 到 Tomcat 中 ， 然 后 局 动 即 可 。 


添加 注册 中 心 


首先 ， 需 要 添加 注册 中 心 ， 如 下 图 所 示 。 然 后 就 可 以 对 该 注册 中 心 的 任 
务 进行 维护 了 。 





添加 注册 中 心 


注册 中 心 名称 : 
regCenter 
注册 中 心地 址 : 


4 58. 61.129:21€ 





命名 空间 : 





任务 配置 
退 过 任务 控制 台 可 以 进行 任务 /作业 的 参数 动态 更 改 ， 如 下 图 所 示 。 


作业 设置 “作业 服务 器 。 ”作业 运行 状态 


作业 实现 类 com.elasticjob.MyDataflowJob 


作业 类 型 DATAFLOW 


作业 分 片 况 数 3 SEMA abc=5 cron 表 达 式 | 0/10****? 
最 大 容忍 的 本 机 与 注册 -1 监听 作业 强 口 -1 是 否 流 式 处 理 数据 7 

中 心 的 时 间 误 差 秒 数 

监控 作业 执行 时 状态 。 思 支持 自动 失效 转移 C 支持 misfire ” 


分 片 序列 三 /参数 对 照 表 0=A,1=B,2=C 


作业 分 片 策略 实现 类 全 com.dangdang.ddframe job lite.api.strategy.impl.AverageAllocationJobShardingStrategy 
路 径 
定制 异常 处 理 类 全 路 径 com.dangdang.ddframe job.executor handler impl.DefaultJobExceptionHandler 
定制 线程 池 全 路 径 com.dangdang.ddframe .job.executor handler impl.DefaultExecutorServiceHandler 





至 此 使 用 Elastic-Job-Lite 开 发 分 布 式 任务 加 介绍 完了 。 
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队列 ， 和 在 数据 结构 中 古 一 种 线性 表 ， 从 一 靖 插 入 数据 ， 然 后 从 万 一 病 删 
除数 据 。 本 书 的 目的 不 是 讲解 各 种 队列 及 如 何 实现 ， 而 是 讲述 在 应 用 层 
面 使 用 队列 能 解决 哪些 场景 问题 。 


在 我 们 的 系统 中 ， 不 是 所 有 的 处 理 都 必须 实时 人 处理， 不 是 所 有 的 请 求 都 
必须 实时 反馈 结果 给 用 户 ， 不 是 所 有 有 的 请 求 都 必须 100% 一 次 性 处 理 成 
功 ， 不 知道 哪个 系统 依赖 “我 ?来 实现 其 业务 处 理 ， 保 证 最 终 一 致 性 ， 不 
需要 强 一 致 性 。 此 时 ， 我 们 应 诅 考 虑 使 用 队列 来 解决 这 些 问 题 。 当 然 我 
们 也 要 考虑 是 人 否 需要 保证 消息 处 理 的 有 序 性 及 如 何 保 证 ， 是 否 能 重复 消 
费 及 如 何 保证 重复 消费 的 过 等 性 。 在 实际 开发 时 ， 我 们 经 各 使 用 队列 进 
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15.1 应 用 场景 


异步 处 理 i 使 用 队列 的 一 个 主要 原因 是 进行 异步 处 理 ， 比 如 ， 用 户 注 
册 成 功 后 ， 需 要 及 大 注册 成 功 邮 件 / 新 用 户 积 分 /优惠 券 等 ;缓存 过 期 
时 ， 移 返回 过 期 数据 ， 然 后 姑 步 更 新 缓 仔 、 弄 步 与 日 总 等 。 通 过 姑 步 处 
理 ， 可 以 提升 主流 程 啊 应 速度 ， 而 非 主流 程 / 非 重 要 处 理 可 以 集中 处 
理 ， 这 样 还 可 以 将 任务 聚合 批量 处 理 。 因 此 ， 可 以 使 用 消息 队列 /任务 
队列 来 进行 异步 处 理 。 


| Ree : 比如 ， 用户 成 功 文 付 完成 订单 后 ， 需 要 通知 生产 配 货 系 
统 、 友 票 系 统 、 库 存 系 统 、 推 荐 系统 、 搜 索 系 统 等 进行 业务 处 理 ， 而 未 
来 十 要 文 持 哪 些 业 务 是 不 知 伺 的， 并 且 这 些 业 务 不 需要 实时 人 处理、 不 需 
要 强 一 致 ， 只 需要 保证 最 终 一 致 性 即 可 ， 因 此 ， 可 以 通过 消息 队列 / 任 
务 队 列 进 行 系统 解 竹 。 


数据 同步 : 比如 ， 想 把 MySQL 变 更 的 数据 同步 到 Redis， 或 者 将 
MySQL 的 数据 同步 到 Mongodb， 或 者 让 机 房 之 加 的 数据 同步 ， 或 者 主 从 
数据 同步 等 ， 此 时 可 以 考虑 使 用 databus、canal、otter 等 。 使 用 数据 总 线 
队列 进行 数据 同步 的 好 处 是 可 以 你 证 数据 修改 的 有 友 性 。 


Wie ANE: 系统 瓶 锋 一 般 在 数据 库 上 ， 比 如 扣 减 库存 、 下 单 等 。 此 时 
可 以 考虑 使 用 队列 将 变更 请 求 析 时 放 入 队列 ， 通 过 缓存 + 队列 暂 存 的 方 
了 将 数据 库 流 量 削 峰 。 同 样 ， 对 于 秒杀 系统 ， 下 单 服 务 会 是 该 系统 的 瓶 
贷 ， 此 时 ， 可 以 使 用 队列 进行 排队 和 限 流 ， 从 而 保护 下 单 服务 ， 通 过 队 
列 暂 存 或 者 队列 限 法 进行 流量 着 峰 。 


队列 的 应 用 场景 非 第 多 ， 以 上 只 列举 了 一 些 常 见 用 法 和 场景 。 


15.2 ”缓冲 队列 


典型 的 如 Log4j 日 专 绥 冲 区 ， 当 我 们 使 用 log4j 记 录 日 专 时 ， 可 以 配置 字 
节 缓 冲 区 ， 字 节 组 存 区 满 时 ， 会 立即 同步 到 磁盘 。Log4j 是 使 用 
BufferedWriter 实 现 的 。 此 模式 不 是 异步 写 ， 在 绥 冲 区 满 的 时 候 还 是 会 阻 
塞 主线 程 。 如 果 需 要 异步 模式 ， 则 可 以 使 用 AsyncAppender， 然 后 通过 
bufferSizeiz gl] H i SEE ZEB X IUS. 


同样 ， 在 电 丙 进行 大 促 时 ， 此 时 的 系统 法 量 会 蜗 于 平 弟 流 量 的 几 倍 甚 全 
几 十 倍 ， 此 时 应 进行 一 些 特殊 的 设计 来 保证 系统 平稳 度 过 这 段 时 期 。 而 
解 次 的 手段 很 多 ， 一 般 牺 牲 业务 的 强 一 致 性 ， 你 证 最 终 一 致 性 即 可 。 


如 下 图 所 示 ， 使 用 绥 冲 队列 应 对 突 友 流量 时 ， 并 不 能 使 处 理 速 上 度 变 快 ， 
而 是 使 处 理 速度 变 平 请 ， 从 而 不 会 因 瞬 间 压 力 太 大 而 压 葵 应 用 。 


队列 
平滑 





通过 绥 冲 区 队列 可 以 实现 批量 处 理 、 寞 步 处 理 和 平 消 流量 。 


15.3 ”任务 队列 


使 用 任务 队列 可 以 将 一 些 不 需要 与 主线 程 同步 执行 的 任务 扔 到 任务 队列 
进行 卉 步 处 理 。 笔 者 用 得 最 多 的 是 线程 池 任务 队列 《默认 为 
LinkedBlockingQueue) 和 Disruptor 任 务 队 列 (RingBuffer〉。 如 用 户 注 
及 完成 后 ， 将 发 运 邮件 / 运 积 分 / 运 优惠 券 任 务 扔 到 任务 队列 进行 寞 步 处 
理 ;， 刷 数据 时 ， 将 任务 扔 到 队列 异步 处 理 ， 处 理 成 功 后 再 异步 通知 用 
户 。 还 有 删除 SKU 操 作 ， 在 用 户 请 求 时 直接 将 任务 分 解 并 扔 到 队列 进行 


异步 处 理 ， 处 理 成 功 后 异步 通知 用 户 。 以 及 碍 询 聚 合 时 ， 将 多 个 可 并 行 
处 理 的 任务 扔 到 队列 ， 然 后 等 竺 最 慢 的 一 个 任务 返回 。 


通过 任务 队列 可 以 实现 异步 处 理 、 任 务 分 解 /聚合 处 理 。 


注 : JDK7 提 供 了 ExecutorService 的 新 实现 ForkJoinPool， 其 提供 的 Work- 
stealing LH], TJ A EHER FRENK 


15.4 WRB 


笔者 所 在 公司 使 用 的 系统 是 目 主 研发 的 JMQ; 开源 的 系统 有 
ActiveMQ、Kafka、Redis。 使 用 消息 队列 存储 各 业务 数据 ， 其 他 系统 根 
据 震 要 订阅 即 可 。 和 常见 的 订阅 模式 是 : 点 对 点 《一 个 消 因 只 有 一 个 消费 
OP v eee 
Fa I o 


Eu, JEUX a. BERET BRASH, ABD IAG E fei el AIS BIA Ae 
队列 ， 如 末 其 他 系统 有 和 需要， 则 直接 订阅 该 消 恩 队列 即 可 。 


一 般 我 们 会 在 应 用 系统 中 采用 双 写 模式 ， 同 时 写 DB 和 MQ， 然 后 腊 构 系 
统 可 以 订阅 MQ 进行 业务 处 理 ( 见 下 图 ) 。 因 为 在 双 写 柑 式 下 没有 事务 
你 证 ， 所 以 会 出 现 数据 不 一 致 的 情况 ， 如 末 对 一 致 性 要 求 没 那 么 严格 ， 
则 这 种 模式 是 没 问 题 的 ， 而 且 在 实际 应 用 中 这 种 模式 也 非 第 多 。 








生产 系统 

DB 
XY 与 
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异 构 数据 
l 
DB MQ < 订阅 一 - 数据 异 构 系 统 

| 











如 下 代 公 是 双 写 示例 ， 事 务 成 功 后 肥 MQ。 


public OrderDTO create(final OrderDTO order) throws OrderException { 

OrderDTO createdOrderDTO = executeInShardingTrans((status) -> { 
// 插 入 订单 到 DB 
OrderDTO insertOrderDTO = convert(orderService.insert (order)); 
return insertOrderDTO; 

h, Order): 

/ | R MQ 

orderMqProducer.publish(OrderMqType.CREATED, null, insertOrderDTO); 

/ [ERAT 

orderCache.put (createdOrderDTO); 

return createdOrderDTO; 


} 


如 果 在 事务 中 友 MQ， 会 存在 事务 回 深 ， 但 是 MQ 发 送 成 功 了 ， 则 需要 

消 居 消费 者 进行 暴 竺 处理。 如 果 事 务 提交 慢 ， 但 是 MQ 已 经 发 出 去 了 ， 

则 些 时 根据 MQ 信息 再 去 获取 数据 库 数 据 可 能 不 是 最 新 的 。 如 果 MQ 友 

送 慢 ， 则 会 导致 事务 无 法 快速 提交 ， 造 成 数据 库 墙 塞 。 同样 不 要 在 事务 
中 挫 杂 RPC 调 用 ，RPC 服 务 不 稳定 ， 同 样 会 引起 数据 库 阻 守 。 

也 可 以 采用 订阅 数据 库 日 志 机 制 来 实现 数据 库 变 更 捕获 ， 这 样 生 产 系 统 
只 需要 单 写 DB， 然 后 通过 如 Canal 订 阅 数据 库 binlog 实 现 数据 库 数 据 变 
更 捕获 ， 然 后 业务 疹 订 疝 Canal 进 行业 务 处 理 。 这 种 方式 可 以 保证 一 臻 


oO 
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15.5 ”请 求 队列 


请 求 队列 是 指 类 似 在 Web 环 境 下 对 用 户 请 求 排队 ， 从 而 进行 一 些 特殊 控 
制 ， 流 量 控制 、 请 求 分 级 、 请 求 隔离 。 例 如 将 请 求 按照 功能 划分 到 不 同 





的 队列 ， 从 而 使 得 不 同 的 队列 出 现 问题 后 相互 不 影响 。 还 可 以 对 请 求 分 
级 ， 一 些 重要 的 请 求 可 以 优先 处 理 〈 发 展 到 一 定 程度 应 将 功能 物理 分 
离 ) 。 另 外 ， 服 务 器 处 理 能 力 有 限 ， 在 接近 服务 器 瓶颈 时 需要 考虑 限 
流 ， 最 简单 的 限 流 是 丢弃 处 理 不 了 的 请 求 ， 此 时 可 以 使 用 队列 进行 流量 
“sth 


如 下 图 所 示 ， 这 里 使 用 请 求 队列 来 实现 漏斗 模式 ， 对 请 求 进行 排队 、 过 

滤 、 限 流 ， 经 过 这 些 步 又 后 ， 流 入 业务 系统 的 流量 就 非常 小 了 ， 这 样 业 

务 系 统 就 不 会 被 突 发 的 大 量 请 求 搞 垮 。 队 列 限 流 可 以 通过 队列 大 小 (如 

RAINS. ROS) 和 排队 超时 《队列 里 的 请 求 很 长 时 间 没 

被 处 理 ) 实现 ， 如 果 失 败 了 ， 则 返回 让 客户 重新 排队 或 者 重 试 。 使 用 这 

ae 
前 端 入 口 。 


He ny 
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15.6 ”数据 总 线 队 列 


一 般 消 晨 队 列 中 的 消 明 都 是 业务 维度 的 简单 数据， 如 业务 键 或 业务 状 
态 。 在 商品 信息 变更 场景 中 ， 当 SKU 信 息 变 更 了 ， 只 下 发 一 个 SKU 
ID， 订 阅 者 需要 再 查 一 人 裔 了 商品 系统 来 获取 最 莉 的 变更 数据 ， 进 行 如 商品 
言 轧 绥 存 同步 。 所 以 使 用 现 有 的 消息 队列 方式 很 难 只 进行 变更 部 分 的 推 
送 并 保证 数据 的 有 序 性 。 而 此 种 场景 比较 适合 使 用 数据 总 线 队 列 实现 。 
例如 数据 库 变 更 后 需要 同步 数据 到 缓存， 或 者 需要 将 一 个 机 房 的 数据 同 
步 到 另 一 个 机 房 ， 只 是 数据 维度 的 同步 ， 此 时 应 该 使 用 数据 总 线 队 列 ， 
如 阿里 的 Canal、Linkedm ”的 databus。 使 用 数据 总 线 队 列 的 好 处 是 ， 可 


以 保证 数据 的 有 序 性 。 阿 里 的 otter 是 基于 Canal 的 一 蒜 分 布 式 数据 库 同 步 

系统 ， 如 果 想 实时 进行 多 机 房 、 多 数据 库 数据 增 量 同步 ， 则 可 以 使 用 

otter。 如 果 需 要 全 量 离线 数据 同步 ， 则 可 以 使 用 kettle。 

可 以 通过 otter 订 阅 某 个 DB 的 某 些 表 ， 然 后 同步 到 另 一 个 数据 库 中 。 如 

ire Hm m T 
Js 


DB1 «ir n-— otter 三 同步 > DB2 


15.7 ”混合 队列 
在 第 16 半 中 介绍 过 混合 队列 。 如 下 图 所 示 是 使 用 混合 队列 来 解决 实际 问 
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此 处 MQ 是 使 用 和 京东 目 主 研发 的 JMQ， 消 恩 是 可 徘 持 久 化 存储 的 。 应 用 
会 按照 不 同 的 维度 发 布 消 因 到 JMQ。 下 游 应 用 接收 到 该 消 因 后 会 将 其 放 
入 Redis 中 ， 使 用 Redis List 来 存储 这 些 任 务 。 应 用 将 Redis 消 居 消 费 处 理 
后 ， 会 按照 不 同 的 维度 聚合 商品 消 奶 ， 然 后 再 次 发 送出 去 。 


使 用 Redis 队 列 的 主要 原因 是 想 拓 升 消 明 堆 积 能 力 和 并 友人 处 理 能 力 。 帮 
外 ， 在 使 用 Redis 构 建 消 妃 队 列 时 ， 需 要 车 碟 因 网 络 树 动 造成 的 消 轧 丢 
失 问 题 ， 因 为 Redis 是 没有 事务 回 知 的 ， 或 者 说 是 没有 确认 机 制 的 。 我 


们 使 用 如 下 方式 防止 请 轧 丢 失 。 


try | 
id = queueRedis.opsForList() 
.rightPopAndLeftPush(queueName, processingQueueName) ; 
} catch (Exception e) { 
// 发 生 了 网 络 民 种 ， 需 要 把 processing 中 的 id 再 放 回 到 waiting queue 中 
String msg - 
queueName +" to " +processingQueueName + " rpplpush error"; 
LOG.error(msg, e); 
/ /报警 代码 
} 


而 对 于 失败 我 们 会 进行 三 次 重 试 ， 重 试 失败 后 放 入 失败 队列 ， 而 失败 队 
列 是 具有 防 重 功能 的 《从 本 地 队列 和 失败 队列 排 重 ) ， 这 里 使 用 Redis 
Lua 脚 本 实现 。 


static EventQueueScript ADD TO FAIL QUEUE REDIS SCRIPT = 
new EventQueueScript( 
"redis.call('lrem', KEYS[1], 1, ARGV[1]) redis.call('lrem', 
KEYS[2], 1, ARGV[1]) return redis.call('lpush', KEYS[2], ARGV[1])" 
) ; 


Redis 的 作者 Antirez 开 发 的 内 存 分 布 式 消 息 队 列 Disque， 是 未 来 更 好 的 内 
存 消息 队列 选择 。 


15.8 ”其 他 队列 


优先 级 队列 : 在 实际 开 及 时 肯定 有 些 任务 是 当 息 的 ， 此 时 应 该 优先 处 
BEA MES 0 Pr AA KET BA SEE TT 7 XK 


副本 队列 : FEKETE ARS Be Er eI, BR BCA AE HY 
feeb PRUE LA 2 8 IE, Wn] VAS ESAE 8 — 13 Ee AS CELLA 
E LARA) » Mi zb os cee ey, a DOSES TH ET [n] 
JW. 


”镜像 队列 : 每 个 队列 不 可 能 无 限制 被 订阅 消费 ， 会 有 一 个 订阅 量 极 
上限。 当 达 到 极限 时 ， 请 考虑 使 用 镜像 队列 方式 解决 访问 题 。 


-队列 并 及 数 : 不 同 队列 实现 ， 队 列 服务 带 妆 并 及 连接 数 是 不 一 样 的 。 
一 定 不 是 增 六 队列 并 友 连 接 数 消 肌 能 力也 随 独 增加 ， 世 不 会 因为 增加 了 
消费 服务 器 消费 ， 并 发 能 力也 随 之 增加 ， 需 要 根据 实际 情况 来 设置 合理 
的 并 及 连 接 数 。 


”推送 拉 取 : 消息 体内 容 不 是 越 全 越 好 ， 需 要 根据 具体 业务 设计 消 
Vk. UA ES ZR EURO i Ae SE IHR. CRA 7 SKUO ， 有 些 系 统 依赖 丙 
mm RASA (SKU, KAS) ， 有 些 系统 依赖 商品 属性 变更 消息 (SKU, 

变更 的 属性 ) 等 。 如 打 让 所 有 系统 都 消费 商品 变更 消息 ， 那 么 这 些 系统 
祁 会 调用 商品 查询 服务 ， 拉 取 最 新 商品 信息 ， 然 后 进行 处 理 。 因 此 ， 要 
根据 实际 情况 来 决定 是 使 用 推送 方式 “将 系统 需要 的 所 有 信息 推 过 去 ) 

还 是 使 用 拉 取 方式 (只 推 赤 ID， 然 后 骨 合 一 过) 。 


15.9 Disruptor-Redis/ 7 

15.9.1 简介 

Disruptor: LMAX Ji A) — A ren PE Be 2 ATER, Eteh Y PE Be 
锁 内 存 队列 实现 ， 并 优化 了 CPU 伪 共 享 ， 用 于 构建 低 延 迟 高 吞吐 量 的 交 


易 型 应 用 。 使 用 Disruptor 也 可 以 构建 复杂 的 任务 工作 流 ， 如 下 图 所 示 ， 
这 里 实现 消费 者 工作 流 。 





Disruptor 























在 实际 项 目 中 ， 我 们 使 用 Disruptor 配 合 Redis 来 异步 处 理 任务 ， 整 体 架构 
如 下 图 所 示 。 

































































Redis 队 列 : 我 们 使 用 Redis List 数 据 结构 来 存储 任务 ， 并 分 为 等 待 队 
列 、 本 地 处 理 队 列 、 失 败 队 列 、 备 份 队 列 。 任 务 会 首先 发 布 到 等 符 队 
列 ， 然 后 会 转移 到 本 地 处 理 队 列 进 行 处 理 ， 处 理 成 功 后 会 被 从 本 地 处 理 
队列 中 移 除 ， 如 末 处 理 失 败 了 ， 则 会 被 移 到 失败 队列 等 每 人 工 介 入 。 备 
份 队 列 也 叫 作 镜像 队列 ， 当 遇 到 问题 时 ， 可 以 进行 任务 回放 。 我 们 使 用 
Redis 最 高 时 有 2 亿 多 个 任务 在 等 待 队 列 中 等 待 处 理 。Redis 队 列 中 的 任务 
可 以 是 其 他 系统 推送 的 ， 或 者 是 MQ 推送 的 。 


:EventQueue: ”业务 组 件 ， 封 装 了 Redis 队 列 的 访问 。 


EventPublishThread : 站 务 组 件 ， 通 过 EventQueue 拉 取 Redis Wait 
Queue 任 务 ， 首 先 被 移动 到 Local Processing Queue， 然 后 被 放 入 Disruptor 
RingBuffer 内 存 队 列 处 理 。 


- RingBuffer : Disruptor 组 件 ， 一 个 环形 队列 ， 使 用 定 长 数组 存储 ， 并 
预先 填充 好 任务 /事件 ， 不 需要 像 链 表 那 样 每 次 添加 /删除 节点 时 去 创建 / 
回收 节点 ， 从 而 避免 一 定 的 垃圾 回收 。 环 形 队 列 数 组 长 上 度 是 2^*N ， 可 以 
使 用 位 运算 提升 性 能 。 整 个 队列 使 用 无 锁 设 计 从 而 减少 了 竞争 。 通 过 组 
存 行 填充 解决 CPU 伪 共享 问题 。 


- WorkPool: Disruptor 组件， 存储 WorkProcessor 的 池子 ，Disruptor 将 任 
务 处 理 器 放 入 WorkPool 中 ， 然 后 通过 Executor 并 及 局 动 每 一 个 
WorkProcessor. 


- WorkProceesor:  DisruptorZH t, WorkProcessor/ÁARingBuffer]H 2 
件 /任务 ， 并 交 由 WorkHandler 处 理 。 


: WorkHanler : Disruptor 组 件 ， 处 理 任 务 的 工作 者 ， 我 们 根据 任务 类 型 


委托 给 不 同 的 EventHandler 处 理 。 


: EventHandler : 业务 组 件 ， 实 际 处 理 任务 的 组 件 ， 处 理 成 功 后 ， 会 通 
过 EventQueue 从 Redis 本 地 处 理 队 列 移 除 。 处 理 失 败 时 ， 会 通过 
EventQueue 把 任务 放 入 到 Redis 失 败 队 列 。 


接 下 来 我 们 看 一 下 这 些 组 件 的 核心 实现 (本 书 使 用 的 是 Disruptor 
3.2.1) 。 


15.9.2 XML Æ. 
首先 是 EventQueue 配 置 。 


<bean id="productEventQueue" parent="com.queue.EventQueue"> 
<property name-"queueRedis" ref="queueRedis"/> 
<property name="processingErrorRetryCount" value="2"/> 
<property name-"queueName" value="product"/> 
<property name-"maxBakSize" value="20000000"/><!-- 2000w --> 
</bean> 


-queueRedis: 配置 Redis 队 列 实例 ， 我 们 使 用 jedis 客 户 端 。 


- processingErrorRetryCount : 本 地 任务 队列 中 失败 后 的 重 斌 次数， 当 
Disruptor 处 理 失 败 时 会 进行 重 试 。 


-queueName : 我 们 使 用 的 Redis 等 竺 队列 名 称 ， 任 务 会 从 该 队列 拉 取 ， 
队列 使 用 List 数 据 结构 实现 。 


maxBakSize : 队列 的 镜像 大 小 ， 当 从 等 每 队列 中 拉 取 任务 时 ， 会 放 入 
一 份 镜像 /备份 队列 ， 从 而 当 业 务 处 理 出 现 问 题 时 进行 重 放 ， 业 务实 现 
时 要 考虑 只 等 性 。 

接 下 来 是 EventHandler 配 置 。 


<bean id="productEventHandler" 
class="com.task.handler.ProductEventHandler"/> 


最 后 是 EventWorker 实 现 。 


<bean id="productEventWorker" class-"com.task.EventWorker" 
init-method- "init" destroy-method="stop"> 
<property name-"threadPoolSize" value="256"/> 
<property name="ringBufferSize" value="4096"/> 
<property name="eventHandlerMap"> 
<map> 
<entry key-ref-"productEventQueue" value-ref-" productEventHandler"/» 
</map> 
</property> 
</bean> 


业务 组 件 EventWorker: 用 于 创建 Disruptor 相 关 组 件 ， 包 含 如 下 配置 项 
H. 


init/stop : init T 9J484453ftJHz/JDisruptor. StopH] F 24JVM£X IER £z 


]EDisruptorZH fF . 
 ringBufferSize : 坏 形 队列 大 小 ， 大 小 必须 是 2 的 倍数 。 


-eventHandlerMap : 映射 EventQueue 与 EventHandler 的 关系 ， 从 特定 的 
EventQueue 中 获取 的 任务 将 被 关联 的 EventHandler 处 理 。 


15.9.3  EventWorker 


eventHandlerMap 用 于 配置 EventQueue 与 EventHandler 的 关系 。 


public void setEventHandlerMap( 
Map<EventQueue, EventHander» eventHandlerMap) { 
this.eventHandlerMap - eventHandlerMap; 
if (MapUtils.isNotEmpty(eventHandlerMap)) { 
this.eventQueueMap - Maps.newHashMap(); 
for(Map.Entry«EventQueue, EventHander> entry : 
eventHandlerMap.entrySet()) { 
EventQueue queue - entry.getKey(); 
this.eventQueueMap.put(queue.getQueueName(), queue); 


} 


eventHandlerMap 存 储 了 EventQueue 和 EventHandler 的 关系 。 
eventQueueMap 存 储 了 queueName 与 EventQueue 的 关系 。 


init 


JRM Disruptor, WorkHandler. EventHandler. EventPublishThread-s 2H 
件 ， 并 启动 Disruptor、EventPublishThread 。 


public void init() throws Exception { 

//1. 创建 Disruptor 

disruptor = new Disruptor<Event> ( 
new DefaultEventEactory()，// 使 用 默认 事件 工厂 
ringBufferSize, //RingBuffer 大 小 
Executors.newFixedThreadPool (threadPoolSize)，// 消 费 者 线程 池 
ProducerType.MULTI, // 文 持 多 事件 发 布 者 
new BlockingWaitStrategy()); / / WSEAS FF EMS 

//2. 获取 RingBuffer 

ringBuffer = disruptor.getRingBuffer(); 

/[3. 处 理 异 常 

disruptor.handleExceptionsWith (new ExceptionHandler() { 


//4. 创建 工作 者 处 理 嚣 
WorkHandler<Event> workHandler = new WorkHandler<Event>() { 
@Override 
public void onEvent (Event event) throws Exception { 
String type = event.getEventType(); 
//4.1 根据 事件 类 型 获取 EventQueue 
EventQueue queue = eventQueueMap.get (type); 
//4.2 根据 EventQueue REUZ FUE SES CXML 中 配置 了 关心 ) 
EventHander hander = eventHandlerMap.get (queue); 
//4.3 XH EventHandler 处 理 该 事件 


hander.onEvent(event.getKey(), type, queue); 


}; 
//5.1 创建 工作 者 处 理 器 (数量 为 线程 池 大 小 ) 
WorkHandler[] workerHanders = new WorkHandler[threadPoolSize|; 
for (int i = 0; i < threadPoolSize; i++) { 
workerHanders[i] = workHandler; 


} 
//5.2 告知 Disruptor 由 工作 者 处 理 器 处 理 


disruptor.handleEventsWithWorkerPool (workerHanders); 

//6. AJ] Disruptor 

disruptor.start(); 

//1. 局 动 发 布 者 线程 (每 个 EventQueue 一 个 ， 可 以 优化 为 只 有 一 个 ) 

for (Map.Entry<String, EventQueue> eventQueueEntry : 
eventQueueMap.entrySet()) { 

String eventType = eventQueueEntry.getKey(); 
EventQueue eventQueue = eventQueueEntry.getValue(); 
/ /每 个 类 型 的 队列 创建 一 个 发 布 者 
EventPublishThread thread = 


new EventPublishThread(eventType, eventQueue, ringBuffer); 
eventPublishThreads.add (thread); 
thread.start(); 


} 


此 处 我 们 配置 的 Disruptor 文 持 多 及 布 者 ， 当 RingBuffer 满 时 使 用 阻 蚂 等 
frÓ*WE. WorkHandlerZ 4 Event Za tH DV HjEventHandlerAb, F . 


当 JVM 停 止 时 ， 需 要 俘 止 Disruptor 和 EventPublishThread。 


public void stop() { 
//1. 停止 发 布 者 线程 
for(EventPublishThread thread : eventPublishThreads) { 
thread.shutdown(); 
} 
//2. &lEDisruptor 
disruptor.shutdown(); 


15.9.4 EventPublishThread 


public void runi) 4 
while (running) {// 当 调用 shutdown 方法 时 ， 设 置 为 false 即 可 
String nextKey - null; 
try | 
if(nextKey == null) {// 从 Eventoueue 获取 下 一 个 任务 
nextKey = eventQueue.next(); 
j 
if(nextKey != null) (//X/ffü$|RingBuffer 
ringBuffer.publishEvent( 
EVENT TRANSLATOR, nextKey, eventType); 
} 
} catch (Exception e) { 
logError(nextKey, e); 


} 


EventPublishThread 实 现 比 较 人 简单 ，eventQueue#next 方 法 将 从 Redis 等 竺 
队列 POP 一 个 任务 ， 然 后 推送 到 本 地 任务 队列 (该 队列 名 称 是: 
queueName + JVM 实 例 所 在 机 圳 IP) ， 并 发 布 到 Disruptor RingBuffer. 


EVENT_TRANSLATOR 用 于 将 参数 转化 为 Disruptor 的 Event 对 象 。 


public void translateTo(Event event, long sequence, String key, String 
eventType) { 


event.setKey (key) ; 
event.setEventType (eventType); 
} 


15.9.5 EventHandler 


以 我 们 的 ProductEventHandler 为 例 ，key 束 是 有 变更 的 skuId， 我 们 根据 
skuld 拉 取 最 新 的 变更 内 容 ， 然 后 更 新 到 线 上 异 构 集群 ， 如 果 成 功 ， 则 
从 本 地 任务 队列 删除 任务 。 如 果 失 败 ， 则 将 重 试 或 者 推送 到 失败 队列 。 


public void onEvent(String skuId, String eventType, EventQueue queue) { 
try i 
// 将 sku1d 最 新 的 变更 内 容 更 新 到 线 上 异 构 数据 集群 
queue.success (skuId) ; 
} catch (Exception e) { 
queue.fail(skuId); 
} 


至 些 ， 涉 及 任务 处 理 的 内 容 就 都 介绍 完了 ， 使 用 Disruptor 可 以 快速 构建 
一 套 内 存 任 务 处 理 逻 辑 。 接 下 来 我 们 来 看 一 下 EventQueue 的 实现 。 


15.9.6 EventQueue 


1.next 方 法 


public String next() throws Exception { 
while (true) { 
//1. 暂停 Queue 消费 
PauseUtils.pauseQueue (queueName) ; 


String id = nüll; 


try | 

//2. 从 等 待 Queue POP, Ala PUSH 到 本 地 处 理 队 列 

id = queueRedis.opsForList() 

.rightPopAndLeftPush(queueName, processingQueueName) ; 

} catch (Exception e) { 

/13. RE SMA, AeA Tae ated, 

// 将 本 地 任务 队列 长 时 间 未 消费 的 任务 推送 回 等 待 队列 

continue; 


} 


//4. 返回 获取 的 任务 
if (id != null) { 
awaitInMillis - DEFAULT AWAIT IN MILLIS; 
return id; 
} 
Lock. lock () 3 
try | 
/ /如 果 没 有 任务 ， 则 休 明 一 下 稍 后 处 理 ， 防 止 死 循环 耗 死 CPU 
if (awaitInMillis < 1000) { 
awaitInMillis = awaitInMillis + awaitInMillis; 
} 
notEmpty.await(awaitInMillis, TimeUnit.MILLISECONDS); 
} catch (Exception e) { 
//ignore 
} finally { 
lock.unlock(); 
} 


} 


next 用 于 从 Redis 等 每 队列 获取 任务 并 推送 到 本 地 处 理 队 列 ， 然 后 返回 此 
任务 。 放 入 本 地 处 理 队 列 使 用 了 rightPopAndLeftPush， 目 的 是 防止 因为 
网 络 异常 导致 任 务 于 失 【〈( 因 为 Redis 本 丑 是 没有 事务 的 ) ， 当 发 生 网 络 

异 第 时 需要 告警 ， 然 后 人 工 介 入 人 处理 ， 或 者 启动 一 个 Worker 定 期 检查 队 
列 内 容 是 否 长 时 间 示 消费， 如 果 长 时 间 未 消 宅 ， 则 应 该 再 转移 回 等 每 队 
列 处 理 。 如 果 队 列 中 没有 任务 ， 则 应 该 短暂 休 明 一 会 儿 ， 然 后 香 试 ， 不 
要 造成 死 循 坏 耗 死 CPU。 


2.success 7; 17: 


public void success(String id) { 
queueRedis.opsForList().remove(processingQueueName, 0, id); 


} 


当 任 务 成 功 处 理 后 ， 从 本 地 任务 队列 移 除 该 任务 。 
3.fail 方 法 


public void fail(final String id) { 
final int failedCount - 
failedCache.getUnchecked (id).incrementAndGet(); 
if (failedCount < processingErrorRetryCount) | 
/ /如 果 小 于 重 试 次 数 ， 则 直接 添加 到 等 每 队列 尾 
ADD TO BACK REDIS SCRIPT.exec(queueRedis, Lists.newArrayList 
(processingQueueName, queueName), id); 
| else {// 如 果 超 过 失败 重 试 次 数 ， 则 加 入 失败 队列 
ADD TO FAIL QUEUE REDIS SCRIPT.exec(queueRedis, Lists.newArrayList 
(processingQueueName, failedQueueName), id); 
} 
} 


faijl 方 法 根据 失败 重 斌 次 数 决 定 是 放 入 等 竺 队列 重 试 ， 还 是 超过 了 失败 
重 试 次 数 直 接 转 移 到 失败 队列 ， 然 后 香 警 ， 人 工 介 入 处 理 。 
4.enqueueToBack7; 77: 


该 方法 用 于 接收 其 他 系统 推送 的 任务 ， 比 如 接收 MQ 消 息 ， 然 后 入 队 到 
Redis 等 待 队 列 。 其 核心 实现 是 通过 Redis ”Lua 脚本 将 任务 加 入 队列 ， 在 
加 入 队列 时 需要 同时 镜像 一 份 放 入 到 备份 队列 。 


ENQUEUE TO LEFT REDIS SCRIPT.exec(queueRedis, Lists.newArrayList (queueName, 
id, makeBakQueueName(), maxBakSizeStr)); 


这 里 用 ENQUEUE_TO_LEFT_REDIS_SCRIPT 实 现 Lua 脚 本 。 


static EventQueueScript ENQUEUE TO LEFT REDIS SCRIPT = new EventQueueScript ( 

" local remCount = 0 if redis.call('llen', KEYS[1]) « 10000 then 
remCount = redis.call('lrem', KEYS[1], 1, KEYS[2]) end redis.call('lpush', 
人 | REYSIZI) " + 

" if tonumber(KEYS[4]) <=0 then return nil end " + 

"if remCount > 0 then return nil end " + 

" local len = redis.call('llen', KEYS[3]) " + 

" if len > tonumber(KEYS[4]) then redis.call('lpop', KEYS[3]) end 
redis,call('rzpushn', EEYS[3], BEYS[2]) * 

); 


如 果 等 每 队列 数量 小 于 10000， 则 会 进行 排 午 (通过 lrem 先 删 际 ， 然 后 
册 通 过 lpush 进 行 重 排 ) 。 如 果 等 竺 队列 数量 大 于 10000， 因 为 过 历 List 
性 能 会 变 得 很 震 ， 则 此 时 不 会 进行 排 重 。 数 据 同 时 会 被 放 入 备份 队列 ， 
当 备 份 队 列 满 了 时 ， 使 用 FIFO 移 除 最 先 插入 的 任务 。 


5. 队 列 名 称 
-queueName: 即 等 竺 队列 名 称 ， 在 XML 配置 文件 中 配置 了 。 
processingQueueName: 本 地 处 理 队 列 名 为 queueName + 


“processing queue_’+ locallp。 
-failedQueueName: 失败 队列 名 为 queueName + “_failed_queue”. 


bakQueueName: 备份 队列 名 为 queueName + "bak queue” + 
LocalTime.now 0.getHourO， 一 个 小 时 一 个 队列 ， 这 样 一 天 就 有 24 个 备 
份 队 列 。 


至 此 ， 整 个 Disruptor+Redis 实 现 的 队列 及 任务 处 理光 辑 束 介 绍 守 了， 本 
草 的 示例 实现 并 不 完美 ， 还 有 很 多 优化 空间 ， 尤 其 在 排 重 、 任 务 调度 、 
自动化 、 可 茱 性 等 方面 还 可 以 优化 得 更 好 。 


使 用 Redis 会 存在 丢 任 务 的 风险 ， 要 根据 实际 业务 来 决定 是 否 人 允许 丢 任 

务 ， 实 际 上 大 多 数 业 务 只 要 保证 尽量 不 丢 即 可 ， 不 需要 保证 白 分 之 白 个 
和 于， 实现 百分之百 不 于 是 非常 难 的 。 保 证 业务 逻辑 一 定 是 正确 的 更 重 

要 ， 一 旦 业务 过 辑 写 错 了 ， 束 要 想 办 法 进行 数据 回 深 ， 此 时 备份 队列 的 
数据 束 很 有 作用 Y, JU ETE SRI BECHER ERN 


Redis 作 者 还 写 了 一 个 内 存 分 布 式 消 居 任务 队列 Disque， Disque 使 用 确认 
A 恩 可 徘 ， 目 前 只 有 Beta 版 本 ， 不 过 截至 目前 已 经 快 一 年 未 更 
新 了 。 


15.10 ”下 单 系统 水 平 可 扩展 架构 


订单 系统 是 交易 型 网 站 的 核心 乙 一 ， 用 户 会 在 这 类 网 站 上 浏览 并 购买 商 
品 ， 购 买 后 吏 会 产生 订单 ， 接 着 需要 用 户 进 行文 付 ， 文 付 成 功 后 束 进 入 
生产 流程 。 而 这 其 中 最 重要 的 一 步 融 是 能 让 用 户 先 下 单 并 成 功 文 付 ， 而 
后 续 沉 程 可 以 不 用 实时 处 理 。 因 此 ， 如 何 你 证 下 单 功能 的 高 性 能 和 融 可 
用 是 一 个 交易 型 网 站 的 核心 之 一 ， 当 然 这 对 于 其 他 系统 也 同等 重要 。 


一 般 订 里 系统 会 进行 分 库 分 表 ， 如 打分 库 分 表 的 数量 不 够 ， 则 会 影响 到 
系统 的 性 能 ， 一 般 通 过 扩容 来 解决 。 或 者 当 同 一 个 订单 库 锌 多 个 系统 依 
顿 ， 其 中 东 个 系统 有 慢 操 作 时 ， 以 及 当 一 次 下 单 需要 写 很 多 表 并 且 订 单 
量 较 大 时 ， 这 都 会 造成 用 户 下 单 速度 变 慢 ， 长 全 无 法 下 单 。 因 此 需要 一 
种 方案 来 解决 这 个 问题 。 第 15 草 介绍 过 缓冲 队列 ， 如 末 把 订单 放 入 绥 剖 
队列 ， 然 后 能 迅速 同步 到 订单 中 心 ， 那 么 驶 可 以 把 下 单 志 辑 和 操作 订单 
人 馆 辑 分 开 ， 用 户 下 单 只 操作 缓冲 表 ， 而 操作 订单 只 操作 订单 表 ， 从 而 在 
操作 订单 表 时 不 会 影响 到 缓冲 表 。 而 且 缓冲 表 可 以 通过 水 平 扩容 来 文 持 
更 大 请 求 。 下 图 是 我 们 的 订单 系统 的 整体 染 构 。 


1.1 生成 订单 号 -| 订单 号 生成 服务 












2.1 插 入 Order 到 Buffer DB 
根据 ID 放 入 不 同 的 DB 


2.3 当 Buffer DB 故障 时 降级 直接 写 订 单 中 心 


4.1 同步 到 订单 中 心 





4.2 删除 OrderBuffer 


整体 流程 介绍 如 下 。 


1. 自 完 ， 用 户 在 结算 页 提交 订 蛙 后 ， 系 统 调用 订 早 写生 成 服务 ， 然 后 绽 
算 服 务 会 进行 一 些 业 务 处 理 ， 最 后 调用 下 蛙 服 务 提交 订单 。 


2. 下 单 服务 将 订单 写 入 订单 缓冲 表 ， 下 单 服务 和 订单 缓存 表 可 以 水 平 扩 
展 ， 从 而 支持 更 多 的 下 单 操作 。 写 入 缓冲 表 成 功 后 ， 将 订单 写 入 缓存 ， 
从 而 前 端 用 户 可 以 查看 到 当前 订单 。 如 果 下 单 服务 有 问题 ， 则 可 以 考虑 
直接 降级 将 订单 写 入 订单 中 心 。 


3. 接 着 缓冲 同步 Worker 轮 询 这 些 缓 冲 表 。 


4. 同 步 Worker 将 订单 同步 到 订单 中 心 ， 如 果 订 单 中 心 数 据 有 变更 ， 则 更 
新 订 单 绥 存 。 


15.10.1 下 单 服 务 


public void submitOrder (OrderDTO order) { 
RoundRobinTable.Table table = roundRobinTable.nextTable(); 
String sql = getSql (table); 
JdbcTemplate template = new JdbcTemplate(table.getDataSource()); 
Long orderId = order.getId(); 


String orderJson = JSONUtils.toJSON(order); 
template.update(sql, orderId, orderJson); 
// 放 入 缓存 
orderCache.put (order); 
} 


RoundRobinTable 是 轮 询 选择 下 一 个 要 写 入 的 表 ， 然 后 将 数据 写 入 到 组 
冲 表 ， 写 入 成 功 后 再 写 入 缓存 。 


此 处 的 缓冲 表 结构 可 以 包括 : 订单 ID、 订 单 JSON 串 、 订 单 状态 、 创 建 
时 间 、 处 理 状 态 、 重 斌 次数 和 WorkerIP。 

缓冲 表 所 在 的 循 主机 器 也 可 能 会 出 现 人 硬件 故障 ， 当 出 现 问 题 时 ， 也 只 是 
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15.10.2 ”同步 Worker 


这 里 的 同步 Worker 也 用 到 了 Disruptor 架 构 ， 只 是 队列 使 用 了 数据 库 绥 冲 
表 来 实现 。 


1.OrderBufferPublishThread 


批量 得 询 绥 冲 表 并 发 布 到 Disruptor RingBuffer 中 。 


Map«RoundRobinTable.Table, Long» lastIdMap = Maps.newHashMap(); 
Map«RoundRobinTable.Table, Object» lastOrderIdMap = Maps.newHashMap(); 
while(running) { 
RoundRobinTable.Table table = roundRobinTable.nextTable(); 
/ /批量 查询 缓冲 表 ( 把 处 理 状态 改 成 “处 理 中 ”， 并 将 WorkerIp 设置 为 当前 JVM IP) 
List<Map<String, Object>> list = 
listOrderBuffers (table, lastIdMap.get (table)); 
// 循 环 发 布 缓冲 订单 
list,forEach((map) -5 { 
Long id = (Long)map.get ("id"); 
Long orderId - (Long)map.get("order id"); 
String orderJson - (String)map.get("order json"); 
publishEvent(table, id, orderId, orderJson); 
lastIdMap.put(table, id); 
lastOrderIdMap.put(table, orderId); 
tryRateLimit ();//« fk ji 


2.OrderBufferHandler 


绥 冲 订 早 处 理 右 将 绥 冲 订单 同步 到 订单 中 心 。 


Long orderId = orderBufferEvent.getOrderId(); 
String orderJson = orderBufferEvent.getOrderJson(); 
RoundRobinTable.Table table = orderBufferEvent.getTable(); 
try ( 
//1. 同步 缓冲 订单 到 订单 中 心 
OrderDTO order = JSONUtils.fromJson(orderJson, OrderDTO.class); 
orderJsfService.save (order); 
//2. 操作 成 功 删 除 缓冲 订单 
deleteOrderBuffer(table, orderId); 
} catch (OrderException e) { 
//3. 如 果 遇 到 有 开 币 ， 则 首先 判断 是 含 已 经 插入 数据 库 ， 如 有 果 是 ， 则 直接 删除 缓冲 订单 即 可 
OrderDTO order = orderJsfService.getOrderFromDB (orderId); 
if (order !- null) { 
// 已 经 成 功 插入 数据 庄 
deleteOrderBuffer(table, orderId); 
} 
} 


至 此 ， 一 个 简单 的 数据 库 订 早 缓 冲 架 构 束 实现 了 ， 在 实际 生产 环境 中 还 
需要 进行 健壮 性 设计 ， 比 如 ，Worker 多 实例 部 署 、Worker 不 可 用 之 后 如 
何 把 它 处 理 的 订单 快速 恢复 、 绥 存 库 不 可 用 后 的 降级 处 理 、 订 单 亏 生成 
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15.11 基于 Canal 实 现 数 据 异 构 


在 大 型 网 站 淋 构 中 ，DB 痢 会 采用 分 库 分 表 来 解决 容量 和 性 能 问题 ， 但 
征 分 库 分 表 之 后 市 来 了 新 的 问题 ， 比 如 不 同 维度 的 碍 询 或 者 聚合 得 询 ， 
此 时 吏 会 非 营 棘手 。 一 般 我 们 会 通过 数据 异 构 机 制 来 解 次 此 问题 。 


如 下 图 所 示 ， 为 了 提升 系统 的 接 单 能 力 ， 我 们 会 对 订单 表 进 行 分 库 分 
表 ， 但 是 ， 随 之 而 来 的 问题 是 : 用 户 怎么 查询 目 己 的 订单 列表 呢 ? 一 种 
办 法 是 扫描 所 有 的 订单 表 ， 然 后 进行 聚合 ， 但 是 这 种 方式 在 大 流量 系统 
架构 中 肯定 是 不 行 的 。 另 一 种 办 法 是 双 写 ， 但 是 双 写 的 一 致 性 又 没 法 保 
证 。 还 有 一 种 办 法 束 是 订阅 数据 库 变 更 日 志 ， 比 如 订阅 MySQL 的 binlog 
日 志 模 拟 数 据 库 的 主 从 同步 机 制 ， 然 后 解析 变更 日 志 将 数据 写 到 订单 列 
表 ， 从 而 实现 数据 措 构 ， 这 种 机 制 也 能 保证 数据 的 一 致 性 。 


订单 中 心 按 照 订单 号 分 库 分 表 


db order 1 db order 2 商家 订单 
t order detail 1 || t order detail 2 t order detail 1 || t order detail 2 a 
一 一 —— 订单 缓存 


订单 列表 按照 用 户 分 库 分 表 


db user order 1 db user order 2 


除了 可 以 进行 订单 列表 的 卉 构 ， 俐 商家 维度 的 卉 构 、ES 搜 索 异 构 、 订 单 
缓存 异 构 等 都 可 以 通过 这 种 方式 解决 。 


在 介绍 Canal 之 前 ， 我 们 先 看 一 下 MySQL 的 主 从 复制 架构 。 
15.11.1 MySQL X: A ffi 
MySQL 主 从 复制 架构 如 下 图 所 示 。 








binlog 


relay log 


1. H 7G MySQL 2s? 9m 14 250355 53 A master 2c FE - 
2.master 数 据 库 会 将 变更 的 记录 数据 写 入 二 进 制 日 志 中 ， 即 binlog。 
3.slave 数 据 库 会 订阅 master 数 据 库 的 binlog 日 志 ， 通 过 一 个 W/O 线程 从 


binlog 的 指定 位 置 拉 取 日 志 进 行 主 从 同步 ， 此 时 master 数 据 库 会 有 一 个 
Binlog Dump 线 程 来 读 取 binlog 日 志 与 slave VO 线 程 进行 数据 同步 。 


4.slave I/O£ Fe ise SI H Ja 765 Arelay log & H iH. 


5.Slave 数 据 库 会 通过 一 个 SQL 线程 谈 取 relay log 进行 日 志 重 放 ， 这 样 束 
实现 了 主 从 数据 库 之 间 的 同步 。 


可 以 把 Canal 看 作 Sslave 数 据 库 ， 其 订 疝 主 数据 库 的 binlog 日 总 ， 然 后 读 取 
并 解析 日 志 ， 这 样 束 实现 了 数据 同步 / 寞 构 。 


15.11.2 Canalis 


Canal 是 阿里 开源 的 一 蒜 基 于 MySQL J binlog HJH 量 订阅 和 消费 组 

件 ， 通 过 它 可 以 订阅 数据 库 的 binlog 日 志 ， 然 后 进行 一 些 数据 消费 ， 如 
数据 镜像 、 数 据 开 构 、 数 据 索引 、 绥 存 更 新 等 。 相对 于 消息 队列 ， 通过 
这 种 机 制 可 以 实现 数据 的 有 序 性 和 一 致 性 。 


Canal 架 构 如 下 图 所 示 。 
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自 和 完 需 要 部 着 canal ”server， 可 以 同时 部 闭 多 台 ， 但 是 只 有 一 台 是 活跃 
的 ， 其 他 的 作为 备 机 。canal server 会 通过 slave 机 制订 向 数 据 库 的 binlog 
日 志 。canal server 的 高 可 用 是 通过 来 zk 维护 的 。 


然后 canal dlient 会 订阅 canal server， 消 费 变 更 的 表 数 据 ， 然 后 写 入 到 如 
镜像 数据 库 、 异 构 数据 库 、 绥 存 数 据 库 ， 有 具体 如 何 应 用 束 看 目 己 的 场景 
了 ， 同 时 也 只 有 一 台 canal client 是 活跃 的 ， 其 他 的 作为 备 机 ， 当 活跃 的 
canal client 不 可 用 后 ， 备 机 会 被 激活 。canal client 的 高 可 用 也 是 通过 zk 来 
维护 的 ， 比 如 下 维护 了 当前 销 避 到 的 日 志 位 置 。 


canal server 目前 谈 取 的 binlog 事 件 只 存储 在 和 内存 中 ， 且 只 有 一 个 canal 
client 能 进行 消费 ， 其 他 的 作为 备 机 。 如 末 需 要 多 消费 客户 疹 ， 则 可 以 
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议 使 用 此 种 模式 ， 而 不 是 启动 多 个 canal ， server 读 取 binlog 日 志 ， 这 样 会 
使 得 数据 库 的 压力 较 大 。ActiveMQ 提 供 了 虚拟 主题 的 概念 ， 文 持 同 一 
份 内 容 多 消费 者 镜像 消费 的 特性 。 


canal 一 个 第 见 应 用 场景 征 同步 缓 仔 ， 当 数据 库 变 更 后 通过 binlog 进 行 绥 
仓 的 增 量 更 新 。 当 缓存 更 新 出 现 问 题 时 ， 应 能 回 退 binlog 到 过 去 东 个 位 
置 进 行 重新 间 步 ， 并 提供 全 量 刷 缓存 的 方法 ， 如 下 图 所 示 。 
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1. 增 量 同步 (biglog) 


增 量 更 新 3 读 缓存 读 服务 


另 一 个 彰 见 应 用 场景 是 下 发 任务 ， 当 数据 变更 时 需要 通知 其 他 依赖 系 
统 。 其 原理 是 任务 系统 监听 数据 库 数 据 变 更 ， 然 后 将 变更 的 数据 写 入 
MQ/Kafka 进 行 任 务 下 发 ， 比 如 商品 数据 变更 后 需要 通知 商品 详情 页 、 
列表 页 、 搜 索 页 等 相关 系统 。 这 种 方式 可 以 保证 数据 下 发 的 精确 性 ， 通 
过 MQ 发 消息 通知 变更 缓存 是 无 法 做 到 这 一 点 的 ， 而 且 业 务 系统 中 也 不 
会 散落 着 各 种 下 发 MQ 的 代码 ， 从 而 实现 了 下 发 的 归 集 ， 如 下 图 所 示 。 
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1. 增 量 同步 (biglog) 
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类 似 于 数据 库 触 发 器 ， 只 要 想 在 数据 库 数据 变更 时 进行 一 些 处 理 ， 都 可 
以 使 用 Canal 来 完成 。 


在 MySQL 主 从 架构 中 ， 当 有 多 个 slave 连 接 master 数 据 库 时 ，master 数 据 


库 的 压力 比较 大 ， 为 保障 master 数 据 库 的 性 能 ，canal server 可 订阅 slave 
的 binlog 日 志 ， 即 是 slave 的 slave。 


15.11.3 ”Canal 示 例 


1. 数 据 库 配置 
修改 my.ini 配 置 文件 的 如 下 信息 。 





任务 下 发 Worker 下 发 任务 | MQJKafka | 





[mysqld] 

log-bin=mysql-bin # 开 启 二 进 制 日 志 

binlog-format=ROW # 使 用 row 模 式 ， 不 要 使 用 statement 或 者 mixed 模 式 
server id-1 # 配 置 主 数据 库 ID， 不 能 和 从 数据 库 重 复 

binlog 提 供 了 三 种 记录 模式 。 


(1) row: 记录 的 是 修改 的 记录 信息 ， 而 不 是 执行 的 SQL， 二 进 制 日 忘 
文件 会 占用 更 大 的 空间 ， 当 执行 alter table 修 改 表 结构 造成 记录 变更 时 ， 
该 表 的 每 一 条 记录 都 会 被 记录 到 日 专 中 。 

(2) statement: 每 一 条 修改 数据 的 SQL 都 会 被 记录 在 binlog 中 ， 其 缺 点 
比如 我 们 使 用 了 MySQL 系 统 函 数 ， 可 能 会 导致 主 从 数据 不 一 
BN e 


(3) mixed: —AESQLÍ£HlstatementsX ida, BEERTRTEUI— EE 252 PR 
数 ， 则 采用 row 模 式 记 录 。 


在 使 用 Canal 时 建议 使 用 row 模 式 。 


另外 ， 在 MySQL 中 执行 “show binary logs” 将 看 到 当前 有 哪些 二 进 制 日 志 
文件 及 其 大 小 。 


接 下 来 ， 我 们 要 为 Canal 创 建 一 个 复制 账 喜 ， 并 为 其 授权 奏 询 和 复制 权 
BR 。 


CREATE USER canal IDENTIFIED BY 'canal'; 


GRANT SELECT, REPLICATION SLAVE, ERPLICATION CLIENT ON 
* * TO 'canal'@'%'; 
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2.3 3) ZooKeeper 


到 zk 官网 下 载 ZooKeeper-3.4.9， 如 果 需 要 修改 zoo.cfg 配 置 文件 ， 则 进行 
一 些 配 置 ， 然 后 执行 如 下 命令 局 动 单 ZooKeeper 服 务 妖 。 


Jbin/zkServer.sh start 
JJ fl. dE IX MEER. 
3.Canal Server 


$i Canal’ I] P Z&canal.deployer-1.0.22.tar.gz  ， 首 先 需 要 进行 数据 库 实 
例 的 配置 ， 其 提供 了 conf/example/instance.properties 一 个 示例 配置 ， 我 


们 复制 一 份 到 conf/product/ instance.properties， 然 后 修改 以 下 配置 。 
## mysql serverld 必须 和 master 不 一 样 
canal.instance.mysql.slaveld = 101 


# position info ”链接 的 数据 库 地 址 和 从 哪个 二 进 制 日 志文 件 和 从 哪个 位 
置 开 始 


canal.instance.master.address = 192.168.0.10:3306 
# MySQL 主 库 链 接 时 ， 起 始 的 binlog 文 件 
canal.instance.master.journal.name = 

# MySQL 主 库 链 接 时 ， 起 始 的 binlog 偏 移 量 
canal.instance.master.position = 

# MySQL 主 库 链 接 时 ， 起 始 的 binlog 的 时 间 稚 
canal.instance.master.timestamp = 

# 用 户 名 /密码 /默认 数据 库 / 数 据 库 编 公 〈 一 定 要 配置 正确 ) 
canal.instance.dbUsername = canal 
canal.instance.dbPassword - canal 
canal.instance.defaultDatabaseName = 


canal.instance.connectionCharset = UTF-8 


还 可 以 通过 如 下 配置 过 小 订阅 哪些 数据 库 中 的 哪些 表 ， 从 而 减少 不 必要 
E c"! 我 们 只 关注 产品 数据 库 ， 那 么 通过 如 下 模 陈 即 可 只 订阅 
广 呈 数据 库 。 


canal.instance.filter.regex = product_\d+\\.* 


如 果 有 多 个 数据 库 可 以 进行 多 个 ***/instance.properties 配 置 ， 则 每 个 数 


据 库 设置 一 个 配置 文件 。 


接 下 来 ， 进 行 canal server 的 配置 ， 修 改 conf/canal.properties。 


#canal id、 地 址 、 新 口 和 使 用 的 zk 服务 地 址 
canal.id= 1 

canal.ip= 

canal.port= 11111 
canal.zkServers=127.0.0.1:2181 


# 当 前 canal server Liber, ASSN AS 
product 


canal.destinations= product 


分 隔 ， 此 处 配置 了 


# 使 用 zk 持久 化 模式 ， 这 样 可 以 你 证 集群 数据 共 圣 ， 文 持 HA 


canal.instance.global.spring.xml = classpath:spring/ default-instance.xml 


然后 执行 如 下 命令 ， 局 动 一 个 canal server. 


Jbin/startup.sh 


4.Canal Client 


BOB Bll € BUE A Java AA HR WSJIIMySQLZS P imik Canal vig 


依赖 Ccom.alibaba.otter£ canal.client# 1.0.22) 。 


订阅 数据 库 变更 的 Java 代 码 。 


public void test() throws Exception { 
// 通 过 zookeeper 连接 canal server 
String zkServers = "192.168.61.129:2181"; 
// 有 目标 是 prodquct 实例 
String destination = "product"; 
CanalConnector connector = 
CanalConnectors.newClusterConnector (zkServers, destination, "", 


SES) ; 


/ /连接 ， 并 订阅 product 数据 库 下 的 product 表 〈( 如 果 不 写 该 模式 ， 则 订阅 所 有 的 ) 


connector.connect(); 
connector.subscribe ("product .*M.product .*"); 


while (true) { 
// 批 量 获取 1000 个 日 志 ( 不 确认 模式 ) 
Message message = connector.getWithoutAck (1000) ; 
for(Entry entry : message.getEntries()) { 


/ /如 果 是 行 数据 


if(entry.getEntryType() == EntryType.ROWDATA) | 
// 则 解析 行 变更 
RowChange row = RowChange.parseFrom (entry.getStoreValue()); 
EventType rowEventType = row.getEventType(); 
for(RowData rowData : row.getRowDatasList()) { 
/ /如 果 是 删除 ， 则 获取 删除 的 数据 ， 然 后 进行 业务 处 理 
if (rowEventType == EventType.DELETE) | 
List<Column> columns = rowData. getBeforeColumnsList () ; 
delete(columns) ; 
} 
/ /如 果 是 新 增 /修改 ， 则 获取 新 增 /修改 的 数据 进行 业务 处 理 
if (rowEventType == EventType.INSERT 
|| rowEventType == EventType.UPDATE) | 
List<Column> columns = 
rowData. getAfterColumnsList () ; 


save(columns) ; 


} 
| 
// 确 认 日 志 消费 成 功 


connector.ack(message.getId()); 


| 


private static void save(List<Column> columns) { 
columns.forEach((column -> { 
String name = column.getName() ; 
String value = column.getValue() ; 
/ /业务 处 理 
1); 


通过 如 上 代码 ， 我 们 就 捕获 了 数据 库 日 志 变 更 ， 然 后 进行 相关 的 业务 处 
理 即 可 。 不 过 是 数据 卉 构 还 是 缓 仔 更 新 ， 因 为 数据 现在 这 里 ， 怎 么 处 理 
束 是 业务 馆 辑 的 事情 了 。 


京东 内 部 有 一 个 类 似 的 组 件 BinLake， 和 截止 本 书 出 版 前 暂 未 开源 。Canal 
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使 用 Linkedm 的 Databus 。 


构建 需求 啊 应 式 亿 级 商品 详情 页 

京东 商品 详情 页 服务 闭环 实践 

使 用 OpenResty 开发 高 性 能 Web 应 用 

应 用 数据 静态 化 架构 高 性 能 单 页 Web 应 用 
- 使 用 OpenResty 开发 Web 服务 


: 使 用 OpenResty 开发 商品 详情 页 
16 ”构建 需求 啊 应 陈 亿 级 商品 详情 页 
16.1 商品 详情 页 是 什么 


商品 详情 页 是 展示 商品 详细 信息 的 一 个 页 面 ， 其 承载 痢 网 站 的 大 部 分 沉 
BAW IAL. Stan ra A BAA. EER. AW. ae. RBS 
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的 ， 只 是 展示 方式 个 一样 。 目 前 两 品 详情 页 的 个 性 化 需求 非 第 多 ， 数 据 
来 源 也 非常 多 ， 而 且 许 多 基础 服务 做 不 了 的 部 放 我 们 系统 这 里 ， 因 此 ， 

我 们 需要 一 种 架构 能 快速 啊 应 和 优雅 地 解决 这 上 坚 需 求 。 我 们 重新 议 计 了 
商品 详情 页 的 架构 ， 主 要 包括 三 部 分 : 商品 详情 页 系统 、 丙 品 详情 页 统 
一 服务 系统 和 商品 详情 页 动态 服务 系统 。 商 品 详情 页 系统 负责 静 的 部 

分 ， 而 统一 服务 系统 负 贡 动 的 部 分 ， 动 态 服务 系统 负责 给 内 网 其 他 系统 
提供 一 些 数 据 服务 。 


京东 商城 目前 有 通用 版 、 全 球 购 、 闪 购 、 易 车 、 惠 买 车 、 服 装 、 拼 购 、 
今日 抄底 等 许多 套 模板 。 通 用 版 如 下 图 所 示 。 


| EYL > PAT P ER (APPLE) > HEIRiPhooc 6 Plus 


| 苹果 ( Apple ) iPhone 6 Plus (A1524) 16GB 侈 色 移动 联通 电信 4G 手 机 ny 





| E 尺寸 更 大 ， 却 会 加 证 期 ; CMEA | NEEF., WER Phone 新 一 代 至 为 出 众 的 b AGRI 
| AVE. 选择: 移动 老 肝 户 4G 飞 享 合约 "无 圳 换 号 ,最 豆 共 可 返还 3528 元 适 费 TOT 
| WEETZT ARDS EMI S87 REA, A MIO , i 
| BiCRW^SS—B85! 
| iPhonet X "EE. 
| * & 45688.00 tas) 40805 

ues. LT3 |: 39a! 

899.0 €1069 0X IOS S CAE, 详情 EAD xiu 


K s. ABNREXIUDS Wi, tMTWEES | RNS 


u +: GRR RRFRAERSS. ORES MHART H25 E HX EA. 





4 EEN 

ZETA 
Hz ABR AY 
ADES dai ti 





fi SHHMPLERM MEGS GRNSXIGESHS ANM 


RAMS: BSS Mes Oe ke vr — Brera AEN YI, 
El treno DER UN 2E K |l ¥ 159. 00 m iy ky tb " IE e Y 399 D 
lp my ETRE Y 499, 00 m 


fae: DERE S Wm OE 


1 e ASAE 





16.2 loonie TH 91 BU "rg zi T4 


Pel ri VE TH D Bl Sita 2 TRI ELS AD P JUT HERES [B s "维度 (标题 、 图 片 、 
属性 等 ) 、 主 商品 维度 《商品 介绍 、 规 格 参数 ) 、 分 类 维度 、 商 家 维 
度 、 店 铺 维度 等 。 另 外 ， 还 有 一 些 实时 性 要 求 比较 高 的 数据 如 实时 价 
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束 东 丙 城 还 有 一 些 特殊 维度 数据 ， 比 如 和 套装、 手机 合约 机 等 数据 ， 这 些 
数据 征 主 商品 数据 外 挂 的 。 


16.3 ”我 们 的 性 能 数据 


在 “6.18” 当 天 ， 京 东 商 城 的 PV 达 到 数 亿 次 ， 当 天 服务 器 端的 啊 应 时 间 人 小 
SEEN 如 下 图 所 示 ， 这 里 展示 的 是 第 1000 次 采样 数据 排序 后 的 第 99 次 
J ERY TA] 





平常 性 能 曲线 图 


方法 性 能 曲线 图 
Key nginx basic.info 





> TP50 > TP90 ® TP99 -w TP999 -- MAX œ AVG = MIN 








16.4 早 品 页 流量 特点 
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16.5.1 4241.0 


IIS-C£- SQL ”Server 是 最 原始 的 架构 ， 其 直接 调用 了 商品 库 获 取 相 应 的 数 
据 ， 在 打 不 住 时 加 了 一 层 memcached 来 缓存 数据 CULE AD 。 这 种 方式 
经 钊 受到 依赖 的 服务 不 稳定 而 导致 的 性 能 抖动 。 


o | o e D , o 


16.5.2 ”架构 2.0 


如 下 图 所 示 的 架构 方案 使 用 了 带 态 化 技术 ， 按 照 商 品 维度 生成 静态 化 
HTML 。 该 方案 的 主要 思路 介绍 如 下 。 


` 通过 MQ 得 到 变更 通知 。 
: 通过 Java Worker 调 用 多 个 依赖 系统 生成 详情 页 HTML 。 
- rsync la] a Bl) ALAS o 


过 Nginx 直 接 输出 静态 页 。 





Bi 


PATA TARE o 





全 量 静 坊 化 Nginx Ey A [| 


商品 详情 页 HTML 商品 详情 页 HTML 





rsync 同 步 





商品 相关 系统 


Java 


uM EIN 
f 


该 方案 的 主要 缺点 介绍 如 下 。 
-假设 只 有 分 类 、 面 包 居 变更 了 ， 那 么 所 有 相关 的 商品 都 要 重 刷 。 


- 随 痢 商品 数量 的 增加 ，rsync 会 成 为 瓶 贷 


无 法 迅速 啊 应 一 些 页 面 需求 变更 ， 大 部 分 都 是 通过 JavaScript 动 态 更 改 
RUE. 


BE E THE m BOTTI, AR TT SE EP f ERAS PUM, EL TACITI 
品 维 度 生成 整个 页 面 ， 会 存在 例如 分 类 维度 变更 就 要 刷新 一 遍 这 个 分 类 
下 所 有 信息 的 问题 ， 因 此 ， 我 们 义 改 千 了 此 架构 方 采 ， 按 照 尾 写 路 由 到 
多 台 机 禹 〈 见 下 图 ) 。 


B^ IExNginx 


HTML 片 段 HTMLH HTML 片 段 HTML 片 段 


Java Worker lava Worker Java Worker Java Worker Java Worker 





此 方案 的 主要 思路 介绍 如 下 。 


容量 问题 通过 按照 商品 尾 写 做 路 由 分 散 到 多 台 机 融 ， 控 照 目 宫 商 喇 单 
独 一 侣 ， 第 三 方 商品 按照 尾气 分 散 到 10 合 。 


按 维 度 生 成 HTML 户 段 〈 框 漆 、 丙 品 介绍 、 规 格 参 效 、 面 包 届 、 相 关 
分 类 、 上 店铺 信息 ) ， 而 不 是 生成 一 个 大 HTML。 


通过 Nginx SSI 合 并 片段 输出 。 
EAE Tt HMI 


; 多 机 房 部 普 也 无 法 通过 rsync 同 步 ， 而 是 使 用 部 普 多 肆 相 同 的 架构 来 实 
现 。 


该 方案 的 主要 缺点 介绍 如 下 。 

全 片 文 件 太 多 ， 导 致 如 无 法 rsync。 

- HDD 做 SSI 合 并 时 ， 蜗 并 友 性 能 看， 此 时 我 们 还 没有 壬 试 使 用 SSD。 
模板 如 来 要 变更 ， 则 数 亿 件 商品 需要 数 天 才能 刷新 完 。 


到 达 容 量 瓶 颈 时 ， 我 们 会 删除 一 部 分 静态 化 商品 ， 然 后 通过 动态 泻 染 
输出。 动态 泻 染 系统 在 流量 高 峰 时 会 导致 依赖 系统 压力 大 ， 抗 不 住 。 


. 还 是 无 法 迅速 响应 一 些 业务 需求 。 
我 们 的 痛 点 包括 以 下 两 点 。 

之 前 架构 的 问题 存在 容量 问题 ， 很 快 就 会 出 现 无 法 全 量 静 态 化 ， 还 是 
需要 动态 泻 染 ， 不 过 ， 对 于 全 量 静态 化 ， 可 以 通过 分 布 式 文件 系统 解决 
该 问题 ， 这 里 介绍 的 方案 没有 尝试 。 


最 主要 的 问题 是 随 看 业务 的 及 展 ， 无 法 满足 迅速 变化 的 需求 ， 以 及 一 
些 变 态 的 需求 。 


16.5.3 ”架构 3.0 
现在 我 们 要 解决 以 下 问题 。 
迅速 响应 迅速 变化 的 需求 和 各 种 变态 的 需求 。 
:支持 各 种 垂直 化 页 面 改版 。 
-页面 模块 化 。 
- ABIX. 
- 高 性 能 、 水 平 扩容 。 
多 机 房 多 活 、 措 地 多 活 。 
如 下 图 所 示 的 架构 方 采 的 主要 思路 介绍 如 下 。 


商品 介绍 等 
JIMDB 集 群 





数据 异 构 数据 同步 


Worker Worker 


数据 异 构 
JIMD8 集 和 群 


数据 变更 还 旦 通过 MQ 通 知 。 


”数据 异 构 Worker 得 到 通知 ， 然 后 按照 一 些 维度 进行 数据 存储 ， 存 储 到 
数据 异 构 JIMDB 集 群 (IMDB: Redis+ 持 久 化 引擎 ) 中， 存储 的 数据 都 
是 未 加 工 的 原子 化 数据 ， 如 商品 基本 信息 、 商 品 扩 展 必 性、 商品 其 他 的 
一 些 相 关 信 息 、 商 品 规格 参数 、 分 类、 商家 信息 等 。 


数据 异 构 Worker 和 存储 成 功 后 ， 会 发 送 一 个 MQ 给 数据 同步 Worker， 数 
据 同 步 Worker 也 可 以 叫 作 数据 聚合 Worker， 其 按照 相应 的 维度 聚合 数据 
并 存储 到 相应 的 JIMDB 人 集群。 其 中 三 个 维 上 度 包 括 : 基本 信息 (基本 信息 
+ 扩展 属性 等 的 一 个 聚合 ) 、 商 品 介绍 PCR, ER) n HE A 
(分 类 、 商 家 等 维度 ， 其 数据 量 小 ， 直 接 使 用 Redis 存 储 ) 。 


` 此 架构 方 柔 前 端 会 展示 商品 评 情 外 和 商品 介绍 ， 使 用 Nginx+Lua 拉 术 获 
取 数 据 并 渔 染 模板 输出 。 


故 外， 我 们 的 染 构 目标 不 仅仅 是 为 商品 详情 页 所 供 数 据 ， 只 要 是 Key- 
Value 获 取 数 据 ， 而 非 天 系 方式 的 数据 ， 我 们 都 可 以 提供 服务 ， 并 且 将 
其 称 之 为 动态 服务 系统 。 





商品 介绍 等 
JIMDB 人 集群 


商品 评 情 页 ideal pu 


后 端 动态 服务 BUS) BR SS 


数据 异 构 
JIMDBS#F 





BASRA AA Bi RR m, BUA MAE AMY, uU ED BASS 7371 
I 商品 对 比 、 微 信和 单 品 页 、 总 代 等 皖 供 相应 的 数据 来 满足 和 文 持 其 


16.6 ”详情 页 架构 设计 原则 
16.6.1 数据 闭环 








人 + 商品 维度 等 消息 一 
规格 参数 — 品牌 服务 — —— 
商家 /店铺 > 品牌 
热力 图 < ; 分 类 信息 — — 
一 商品 介绍 — 一 其 他 维度 信息 -| 











依赖 系统 MQ 


商品 基本 信息 商品 介绍 其 他 信息 


Hale MQ 











商品 信息 聚合 集群 品 介绍 集群 其 他 信息 Redis 





数据 闭环 即 数据 的 目 我 害 理 ， 或 者 说 是 数据 部 在 目 己 系统 里 维护 ， 不 依 
赖 于 任何 其 他 系统 ， 即 去 依赖 化 这 样 的 好 处 是 列 人 抖动 不 会 影响 到 我 。 
数据 闭环 包括 下 和 面 几 个 方面 。 


”数据 腊 构 ， 这 十 数 据 闭环 的 第 一 步 ， 即 将 各 个 依赖 系统 的 数据 拿 过 
来 ， 按 照 目 己 的 要 求 存 储 起 来 。 


- 数据 原子 化 ， 数 据 弄 构 的 数据 是 原子 化 数据 ， 这 样 未 来 我 们 可 以 对 这 
些 数据 再 加 工 再 处 理 ， 从 而 啊 应 变化 的 需求 。 


数据 聚合 ， 将 多 个 原子 数据 聚合 为 一 个 大 JSON 数 据 ， 这 样 前 端 展示 只 
需要 一 次 获取 ， 当 然 要 考虑 系统 架构 ， 比 如 我 们 使 用 的 Redis 改 造 ， 
Redis 又 是 单线 程 系统 ， 我 们 需要 部 署 更 多 的 Redis 来 文 持 更 高 的 并 发 ， 
另外 存储 的 值 要 尽 可 能 小 。 

数据 存储 ， 我 们 使 用 JIMDB、Redis 加 持久 化 存储 引擎 ， 可 以 存储 超过 
WEN 倍 的 数据 量 。 我 们 目前 的 一 些 系统 使 用 的 是 Redis+tLMDB 引 擎 的 
存储 ， 古 配合 SSD 进 行 存 伴 。 另 外 ， 我 们 使 用 Hash Tag 机 制 把 相关 的 数 
据 哈 硕 到 同一 个 分 乒 ， 这 样 使 用 mget 时 不 需要 路 分 片 合并 。 


我 们 目前 的 录 构 数据 是 键 值 结构 ， 用 于 按照 商品 维度 查询 ， 还 有 一 肆 卉 
构 效 据 古 天 系 结构 的 ， 用 于 关系 得 询 。 


16.6.2 ZHE E EM, 


数据 应 该 按照 维度 和 作用 进行 维度 化 ， 这 样 可 以 分 离 存 储 ， 进 行 更 有 效 
地 存储 和 使 用 。 示 例 数 据 的 维度 比较 人 简单， 如 下 。 


- 商品 基本 信息 ， 包 丘 标题 、 扩 展 属性 、 特 殊 属性 、 图 片 、 颜 色 乒 码 、 
规格 参数 等 。 


” 非 丙 品 维度 的 其 他 信息 ， 包 括 分 类 信息 、 丙 家 信息 、 上 店铺 信息 、 上 店铺 


商品 维度 其 他 信息 《〈 弄 步 加 载 ) ， 包 括 价 格 、 促 销 、 配 送 全 、 广 告 
词 、 推 荐 配件 、 最 佳 组 合 等 。 


16.6.3 TKR ARE 





商品 介绍 
Nignx+Lua 


基本 信息 


JIMDB 集 和 群 


数据 异 构 其 他 信息 
JIMD8 集 群 Redis 


将 系统 拆 分 为 多 个 子 系统 虽然 增加 了 复杂 性 ， 但 是 可 以 得 到 更 多 的 好 
处 ， 比 如 数据 弄 构 系统 存储 的 数据 是 原子 化 数据 ， 这 样 可 以 按照 一 些 维 
度 对 外 提供 服务 数据 同步 系统 存储 的 是 聚合 数据 ， 可 以 为 前 端 展 示 提 
供 高 性 能 的 该 取 ， 前 器 展示 系统 分 离 为 商品 详情 页 和 商品 介绍 ， 可 以 城 
LEN 目前 商品 介绍 系统 还 提供 其 他 一 些 服务 ， 比 如 全 站 姑 步 页 
脚 服务 。 


16.6.4 Worker 无 状态 化 + 任务 化 











任务 副本 队列 


» 对 数据 卉 构 和 数据 同步 Worker 进 行 无 状态 化 设计 ， 这 样 可 以 水 平 扩 
”应 用 虽然 是 无 状态 化 的 ， 但 是 配置 文件 还 是 有 状态 的 ， 每 个 机 房 一 套 
配置 ， 这 样 每 个 机 房 只 读 取 当前 机 房 数 据 。 


”任务 多 队列 化 ， 包 括 任 务 等 竺 队列、 包括 任务 排 重 队列 、 本 地 任务 队 
列 、 失 败 任务 队列 。 


” 队列 优先 级 化 ， 分 为 普通 队列 、 刷 数据 队列 、 融 优先 级 队列 。 比 如 ， 
HERD AS TE 品 会 用 到 高 优先 级 队列 你 证 任务 快速 执行 。 


- 任务 副本 队列 ， 当 上 线 后 业务 出 现 问题 时 ， 修 正 包 辑 可 以 回族 ， 从 而 
修复 数据 。 可 以 按照 诺 如 固定 大 小 队列 或 者 小 时 队列 来 进行 设计 。 


在 设计 消息 时 ， 按 照 维 度 更 新 ， 比 如 商品 信息 变更 和 了 商品 上 下 架 分 
离 ， 减 少 每 次 变更 接口 的 调用 量 ， 通 过 聚合 Worker 去 做 聚合 。 


16.6.5 ”异步 化 + 并 发 化 
我 们 系统 大 量 使 用 异步 化 ， 通 过 异步 化 机 制 提升 并 发 能 力 。 首 先 ， 我 们 


使 用 了 消 恩 异步 化 进行 系统 解 灰 合 ， 通 过 消息 通知 变更 ， 然 后 再 调用 相 
应 接口 获取 相关 数据 。 之 前 老 系 统 使 用 同步 推送 机 制 ， 这 种 方式 下 系统 


征 汉 帮 合 的 ， 出 问题 时 需要 联系 各 个 负责 人 重新 推送 ， 还 要 知 夸 失败 重 
试 机 制 。 绥 人 存 数 据 更 新 异步 化 ， 同 步调 用 服务 ， 但 弄 步 更 新 缓 仔 。 让 可 
并 行 任务 并 及 化 ， 虽 然 商 品 数 据 系 统 来 源 有 多 处 ， 但 是 可 以 并 及 调用 聚 
合 ， 这 样本 来 单行 需要 1s 的 任务 ， 使 用 这 种 方式 后 只 需要 不 到 300ms。 

异步 请 求 伏 合 并 ， 然 后 一 次 请 求 调 用 融 能 拿 到 所 有 数据 。 前 闯 服 务 弄 步 
化 /聚合 ， 实 时 价格 、 实 时 库存 异步 化 ， 使 用 如 线程 或 苏 程 机 制 将 多 个 

可 并 友 的 服务 聚合 。 寞 步 化 还 一 个 好 处 束 古 可 以 对 弄 步 请 求 做 合并 ， 原 
AEN 次 调用 可 以 合并 为 一 次 ， 还 可 以 做 请 求 的 排 重 。 


16.6.6 ”多 级 绥 存 化 


: 浏览 器 绥 存 :” 当 页 面 之 则 来 回 跳 转 时 走 local cache， 或 者 打开 页 面 时 
拿 痢 Last-Modified 去 CDN 验 证 是 否 过 期 ， 这 样 可 以 减少 来 回 传 输 的 数据 


A o 


:CDN 绥 存 : 用 户 去 离 自 己 最 近 的 CDN 节 点 拿 数 据 ， 而 不 是 都 回 源 到 北 
各 机 房 获 取 数 据 ， 这 样 可 以 皖 升 访问 性 能 。 


服务 强 问 应 用 本 地 绥 存 : 我 们 使 用 Nginx+Lua 架 构 ， 使 用 
HttpLuaModule 模 块 的 Shared dict 做 本 地 缓存 (reload ER) 或 内 存 级 
Proxy Cache, AA TI YRZ TF DE o 


另外 ， 我 们 还 使 用 一 致 性 哈 希 《如 商品 编号 /分 类 ) 做 负载 均衡 ， 内 部 

对 UREL 重 写 提升 命中 率 。 

我 们 对 mget 做 了 优化 ， 如 对 于 商品 其 他 维 虚数 据 ， 分 关 、 面 包 慎 、 丙 家 
等 差不多 8 个 维度 数据 ， 每 次 mget 获 取 性 能 差 而 且 数据 量 很 大 ， 基 本 在 

30KB 以 上 。 而 这 些 数据 缓存 半 小 时 也 是 没有 问题 的 ， 因 此 我 们 设计 为 

先 谈 local cache， 然 后 把 不 命中 的 再 回 源 到 remote cache 获 取 ， 这 个 优化 
减少 了 一 半 以 上 的 remote cache 流 量 。 


服务 硕 问 分 布 式 缓存 ， 我 们 使 用 内 存 +SSD+JIMDB 持 久 化 存储 。 
16.6.7 动态 化 


- 数据 获取 动态 化 商品 详情 页 控 维 度 获取 数据 ， 如 商品 基本 数据 、 其 
他 数据 (分 类 、 丙 家 信息 等 ) 。 而 且 可 以 根据 数据 属性 按 需 做 包 辑 ， 比 


Gn kes realm in BA CERT, AAR eA Awe, ECan, ESY 
HY fin Se Ej HKIKA, AEEA lH HY. 


:模板 广 染 实时 化 : 文 持 随 时 变更 柑 板 需求 。 


- 重启 应 用 秒 级 化 : ”使 用 Nginx+Lua 架 构 ， 重 启 速 度 快 ， 晶 不 会 丢 共 享 
字典 缓存 数据 。 


- 需求 上 线 快速 化 : ”因为 我 们 使 用 了 Nginx+Lua 染 构 ， 因 而 可 以 快速 上 
线 和 重启 应 用 ， 不 会 产生 拉动 。 男 外 ，Lua 本 里 是 一 种 脚本 语言 ， 我 们 
也 在 答 试 把 代码 版 本 化 存储 ， 直 接 内 部 张 动 Lua 代 但 更 新 上 线 ， 而 不 需 
要 重启 Nginx。 


16.6.8 ”弹性 化 


我 们 所 有 业务 都 使 用 Docker 容 磺 ， 但 古 数 据 库 存储 还 是 物 理 机 。 我 们 会 
制作 一 些 基础 镜像 ， 把 需要 的 软件 打包 成 镜像 ， 这 样 融 不 用 每 次 去 运 维 
MARRAK RRALDIA, U, CPUT w 
动 扩 容 机 项 ， 目 前 和 束 东 的 一 些 业 务 文 持 一 分 钟 目 动 扩容 。 


16.6.9 ”| 降级 开关 


推 壕 服务 占 推 送 降级 开关 ， 使 开关 集中 化 维护 ， 然 后 通过 推送 机 制 推 过 
到 各 个 服务 右 。 


可 降级 的 多 级 读 服 务 为 前 病 数 据 集群 -数据 异 构 集群 -动态 服务 (调用 
依赖 系统 ) 。 这 样 可 以 你 证 服务 质量 ， 假 设 前 端 数 据 集 群 的 一 个 人 磁盘 坏 
了 ， 偿 可 以 回 源 到 数据 卉 构 集 群 获 取 数 据 。 


将 开关 前 置 化 ， 如 Nginx--aTomcat， 在 Nginx 上 做 开关 请 求 束 到 不 了 后 
imo RZD Ja tim Ik JJ o 


将 可 降级 的 业务 线程 池 隔 离 ， 从 Servlet 3 开始 支持 异步 模型 ，Tomcat7 和 和 
Jetty8 文 持 Servlet 3， 而 Jetty6 中 的 Continuations 也 是 异步 模型 。 我 们 可 以 
把 请 求 处 理 过 程 进行 分 解 ， 通 过 事件 机 制 进行 更 灵活 的 请 求 处 理 流 程控 
制 。 通 过 这 种 将 请 求 划 分 为 事件 的 方式 ， 我 们 可 以 进行 更 多 控制 。 比 

如 ， 我 们 可 以 为 不 同 的 业务 再 建立 不 同 的 线程 池 进 行 控 制 ， 即 我 们 只 依 
赖 Tomcat 线 程 闻 进 行 请 求解 析 ， 对 于 请 求 的 处 理 我 们 交 给 自己 的 线程 池 


去 完成 。 这 样 Tomcat 线 程 字 束 不 是 我 们 的 瓶颈 ， 不 会 再 出 现 现 在 无 法 优 
化 的 状况 。 通 过 使 用 这 种 异步 化 事件 模型 ， 我 们 可 以 提高 整体 的 吞吐 

量 ， 不 让 悍 速 鸭 A 业 务 处 理 影 啊 到 其 他 业务 处 理 。 慢 的 还 是 慢 ， 但 是 不 
影 啊 其 他 业务 。 我 们 通过 这 种 机 制 还 可 以 把 Tomcat 线 程 池 的 监控 拿 

来 ， 出 问题 时 可 以 直接 清空 业务 线程 池 ， 男 外 ， 还 可 以 日 定义 任务 队列 
来 支持 一 些 特殊 的 业务 ， 如 下 图 所 示 。 


— mcat 线 程 池 


请 求解 析 riu 目 请 求解 析 目 请 求解 析 ec 
请 求 队列 


my Ep 
业务 处 理 是 业务 处 理 趾 业务 处 理 业务 处 理 


16.6.10 ”多 机 房 多 活 


应 用 无 状态 ， 通 过 在 配置 文件 中 配置 各 自 机 房 的 数据 集群 来 完成 数据 读 
取 ， 如 下 页 图 所 示 。 
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机 房 A 机 房 B 





数据 集群 采用 一 主 三 从 的 结构 ， 防 止 当 一 个 机 房 不能 用 时 ， 为 一 个 机 房 
压力 太 大 而 产生 抖动 ， 如 下 图 所 示 。 


同城 机 房 一 主 三 从 ; 从 提供 服务 





机 房 A 机 房 B 


商品 介绍 等 基本 信息 商品 介绍 等 基本 信息 
JIMDB 集 群 JIMDB 集 群 JIMDB 集 群 JIMDB 集 群 


商品 介绍 等 基本 信息 商品 介绍 竺 基本 信息 
JIMDB 集 群 JIMDB 集 群 JIMDB 集 和 群 JIMDB 集 群 





16.6.11 两 种 压 测 方案 


第 一 种 是 线 下 压 测 ，Apache ab. Apache Jmeter 这 种 方式 是 固定 URL 压 


测 ， 一 般 通 过 访问 日 志 收 集 一 些 URL 进 行 压 测 ， 可 以 简单 压 测 单机 峰值 
存 吐 量 ， 但 是 ， 不 能 作为 最 终 的 压 测 结 东 ， 因 为 这 种 压 测 会 存在 热点 问 
X o 


第 二 种 是 线 上 压 测 ， 可 以 使 用 Tcpcopy 直 接 把 线 上 流量 导入 到 压 测 服务 
种 ， 这 种 方式 可 以 压 训 出 机 需 的 性 能 ， 而 且 可 以 把 流量 放大 ， 也 可 以 使 
用 Nginx+Lua 协 程 机 制 把 流量 分 友人 到 多 台 压 测 服 务 冲 ， 或 者 耳 接 在 负面 
埋 点 ， 让 用 户 压 负 ， 此 种 压 测 方式 可 以 不 给 用 户 返 回 内 容 。 


16.7 ws FAY ES UmI [n eji 
16.7.1 SSD 性 能 差 


使 用 SSD 做 KV 存 储 时 发 现 破 盘 IO 非 常 低 。 配 置 成 RAID 10 的 性 能 只 有 
3~6MB/s。 配 置 成 RAID 0 的 性 能 有 ~130MB/s， 系 统 中 没有 发 现 CPU、 
MEM、 中 上 断 等 瓶 宽 。 一 台 服 务 器 从 RAID 1 改 成 RAID 0 后 ， 性 能 只 有 
~60MB/s X Wt HANIA I SSD FETE BE ABLE © 


根据 以 上 现象 ， 初 步 怀疑 两 个 方面 : SSD, £X EASA HW =4840Pro 
是 消费 级 硬盘 ;RAID 卡 设置 ，Write back 和 Write through 策 略 。 后 来 测 
试验 证 ，RAID 有 影响 ， 但 不 是 关键 。 关 于 RAID 卡 类 型 ， 线 上 系统 用 的 
是 LSI 2008， 比 较 陈 旧 。 


m S3610 RAIDO 
8 S3610 RAID1 
E 840Pro RAIDO 
m 840Pro RAID1 





4KB 8KB 16KB  32KB 1024KB 
数据 块 大 小 


本 实验 使 用 dd 顺序 写 操 作 进 行 简 里 测试 ， 严 格 测 试 需 要 用 FIO 等 工 上 其 。 


16.7.2 BEIE TT fig ize AY JE W 


我 们 在 存储 选 型 时 尝试 过 LevelDB、RocksDB、BeansDB、LMDB、Riak 
等 ， 最 终 根据 我 们 的 需求 选择 了 LMDB。 


"Blase: PAB 


配置 : 32 核 CPU、32GB 内 存 、SSD ( (512GB) 三 星 840Pro 
_, (600GB) Intel 3500 /Intel S3610) 


数据 : 1.7 亿 数据 〈 超 过 800GB 的 数据 ) 、 大 小 5~30KB 左 右 

. KV 存储 引擎: LevelDB、RocksDB、LMDB， 每 台 启 动 两 个 实例 
- 压 测 工具 : ”tcpcopy 直 接线 上 导 流 

压 测 用 例 : 随机 写 + 随 机 读 


LevelDB 压 误 时 ， 随 机 读 + 随 机 写 会 产生 拌 动 (我 们 的 数据 出 目 目 己 的 
监控 平台 ， 分 钟 级 采样 ) » BL RAL 


LevelDB E : 50w/ 分 钟 ， 写 : 5W/ 分 钟 
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RocksDB 是 改造 和 目 LevelDB， 对 SSD 做 了 优化 ， 我 们 压 测 时 采用 单独 写 
或 读 ， 性 能 非 第 好 ， 但 是 读 写 混合 时 惑 会 因为 归并 产生 抖动 ， 参 见 下 页 
第 一 幅 图 。 


RocksDB 读 : 80w/ 分 钟 ， 写 : 2.3w/ 分 钟 
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> TPSO = TPOO œ TPS? m TPIS? - MAX @ AVG — MIN 


Ft Hee 


Key item. wed request. sku dese migration? 


"POTPSO = TP9O 4 T?99 w TP999 -- MAX > AVG © MIN 


LMDB 引 擎 没有 大 的 抖动 ， 基 本 满足 我 们 的 需求 ， 参 见 下 图 。 
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LMDB iz : 80w/ 分 钟 ， 写 : 9w/ 分 钟 








目前 线 上 我 们 的 服务 器 使 用 的 就 是 LMDB。 
16.7.3 ”数据 量 大 时 JIMDB 同 步 不 动 


JIMDB 数 据 同 步 时 要 Dump 数 据 ，SSD 盘 容量 用 了 50% 以 上 ，Dump 到 同 
一 块 磁盘 容量 不 足 。 解 决 方案 如 下 。 


:一 台 物 理 机 挂 两 块 SSD (512GB) ， 单 挂 RAID 0。 启 动 8 个 JIMDB 实 
例 。 这 样 每 实例 差不多 是 125GB 左 右 。 目 前 是 挂 4 块 RAID 0。 新 机 房 计 
划 挂 8 块 RAID 10。 


目前 十 干 光 网 卡 同 步 ， 同 步 峰 值 在 100MB/s 左 右 。 
:Dump 和 Sync 数据 时 是 顺序 读 写 ， 因 此 挂 一 块 SAS 盘 专门 来 同步 数据 。 
- 使 用 文件 锁 保 证 一 台 物 理 机 多 个 实例 同时 只 有 一 个 Dump。 

“后续 计划 改造 为 直接 内 存 转发 ， 而 不 做 Dump。 


16.7.4 切换 主 从 


CHAAR ee EZMA CEA ETM, AL NO, WER BINS 
NLA, RU ASGEBRRAR. MSERAAN AS, Alcea AZ 
前 染 构 图 中 的 一 主 三 从 。 


16.7.5 ^H BOE 


之 前 的 架构 是 分 片 逻辑 分 散 到 多 个 子 系统 的 配置 文件 中 ， 切 换 时 需要 操 
作 很 多 系统 ， 解 决 方案 如 下 。 


n ATwemproxy'F BJF, FeAl AW AS ea AY Twemproxy K a Fr 
E, 


| mios ^S mb AST BU SA a VA, E) BEL EEMQIR 9 RUE 
if SUE. 


: 用 unix domain socket 减 少 连 接 数 ， 以 及 病 口 占用 不 释放 导致 局 动人 不了 
服务 的 问题 。 


16.7.6 ”模板 元 数据 存储 HTML 


起 初 不 确定 Lua 做 逻辑 和 泻 染 模板 性 能 如 何 ， 就 尽量 减少 for、if/else 之 类 
的 逻辑 。 通 过 Java worker 组 装 HTML 片段 存储 到 JIMDB，HTML 片段 会 
存储 诸多 问题 ， 假 设 未 来 变 了 也 是 需要 全 量 刷 出 的 ， 因 此 存储 的 内 容 最 
好 是 元 数据 。 通 过 线 上 不 汤 压 测 ， 最 终 JIMDB 只 存储 元 数据 ，Lua 做 地 
辑 和 泻 染 。 逻 辑 代 码 在 3000 行 以 上 。 模 板 代 码 在 1500 行 以 上 ， 其 中 有 大 
量 for、ifelse 语 句 ， 目 前 得 染 性 能 可 以 接受 。 


线 上 真实 流量 ， 整 体 性 能 从 TP99 为 53ms 降 到 TP99 为 32ms， 人 参见 下 图 。 
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16.7.7 ”库存 接口 访问 量 600w/ 分 钟 


商品 详情 页 库存 接口 在 2014 年 曾 被 恶意 刷 流 量 ， 每 分 钟 超过 600w 访 问 
量 ，Tomcat 机 器 只 能 定时 重 局。 因为 是 详情 页 展示 的 数据 绥 存 几 秒 钟 是 
可 以 接受 的 ， 因 此 开启 Nginx Proxy Cache 来 解决 该 问题 ， 开 局 后 访问 量 
降 到 了 正常 水 平 。 我 们 目前 正在 使 用 Nginx+Lua 架 构 改 造 服务 ， 数 据 过 
滤 、UREL 重 写 等 在 Nginx 层 完成 ， 通 过 UREL 重 写 和 一 致 性 哈 希 负载 均 


衡 ， 我 们 不 再 惧怕 随机 UREL， 一 些 服务 提升 了 10% 以 上 的 缓存 命中 率 。 
16.7.8 ”做 信 接 口 调用 量 骏 增 


通过 访问 日 志 发 现 某 IP 频 繁 抓 取 。 而 且 按 照 商品 编号 遍历 ， 但 是 会 有 一 
些 不 存在 的 编号 ， 解 决 方案 如 下 。 


读 取 KV 存储 的 部 分 不 限 流 。 
回 源 到 服务 接口 进行 请 求 限 流 ， 保 证 服务 质量 。 
16.7.9 ”开启 Nginx Proxy Cache 性 能 不 升 反 降 


开局 Nginx Proxy “Cache 后 ， 人 性 能 下 降 ， 而 且 过 一 段 内 存 使 用 率 到 达 
98%， 解 决 方案 如 下 。 


“内存 占用 率 局 的 问题 是 内 核 问 题 ， 内 核 使 用 LRU 机 制 ， 本 里 不 是 问 
题 ， 不 过 可 以 通过 修改 内 核 参 数 来 改善 : 


sysctl -w vm.extra free kbytes-6436787 
sysctl -w vm.vfs cache pressure-10000 


- 在 HDD 上 使 用 Proxy Cachef'EBEZe, HJM tmpfsZ ff Nginx th r^ 
典 缓存 元 数据 ， 或 者 使 用 SSD， 我 们 目前 使 用 内 存 文件 系统 。 


16.7.10” 配 壕 全 读 服 务 因 依 赖 太 多 ， 啊 应 时 间 偏 


FA 
4 
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串 行 获取 变 并 发 获取 ， 这 样 一 些 服务 可 以 并 发 调用 ， 在 我 们 某 个 系统 
中 能 提升 一 倍 多 的 性 能 ， 从 原来 TP99 差 不 多 1s 降 到 500ms 以 下 。 
: 预 取 依赖 数据 回 传 ， 这 种 机 制 还 有 一 个 好 处 ， 比 如 我 们 依赖 三 个 下 游 


服务 ， 而 这 三 个 服务 都 需要 商品 数据 ， 那 么 我 们 可 以 和 在 当前 服务 中 取 数 
据 ， 然 后 回 传 ， 这 样 可 以 减少 下 游 系统 的 商品 服务 调用 量 。 如 来 没有 


传 ， MA rURAHE CAF. 
数据 如 下 表 所 示 。 


目标 数据 TE 数据 
获取 时 间 lom; 


如 来 串 行 获取 ， 则 十 要 60ms。 


而 如 来 数据 C 依 赖 数据 A 和 数据 B， 数 据 DD 谁 也 不 依赖 ， 数 据 E 依 赖 数 据 
C， 那 么 我 们 可 以 这 样 来 获取 数 扼 : 





数 | 数 | X 
| 据 | 据 | A 
A |B |D 
数 
| 据 
C 
" 
据 
E 


以 这 种 获取 数据 只 需要 30ms， 能 提升 一 倍 的 性 能 。 

假设 数据 E 还 依赖 数据 FE〈5ms) ， 而 数据 F 是 在 数据 E 服 务 中 获取 的 ， 此 

ee eee 了 预 取 数 据 F， 那 么 整体 时 间 就 变 为 
20MS 0 


通过 这 种 优化 ， 服 务 的 整体 性 能 的 TP99 差 不 多 降低 了 10ms。 





2015-06-28 08:00:00 
1723; 68 ms 
AVG. 27 ms 










2015-06-28 08:00:00 
1735: 59 ms 
AG 17 ms 





如 下 服务 是 在 拌 动 时 的 性 能 ， 老 服务 的 TP99 为 211ms， 新 服务 的 TP99 为 
118ms， 此 处 我 们 主要 就 是 并 发 调用 + 超时 时 则 限制 ， 超 时 下 接 降 级 。 





2015-06-28 17:51:00 
TP50: 27 ms 


16.7.1 WET, i«I502f556 X 


Twemproxy 配 置 的 timeout 时 间 太 长 ， 之 前 设置 为 5s， 而 且 没 有 分 别针 对 
连接 、 读 、 写 设置 超时 。 后 来 我 们 减少 超时 时 则 ， 内 网 设置 在 150ms 以 
内 ， 当 超时 时 访问 动态 服务 。 





16.7.12. JJLZS Vi E NX 


2014 年 “ 双 11” 期 间 ， 服 务 器 网 卡 流量 到 了 400Mbps，CPU 的 使 用 率 在 
30% 左 右 。 原 因 是 我 们 所 有 压缩 都 在 接 入 层 完 成 ， 因 此 接 入 层 不 再 把 相 
关 请 求 涉 传 入 到 应 用 ， 随 着 流量 的 增 大 ， 接 入 层 压 力 过 大 ， 因 此 我 们 把 
压缩 下 放 到 各 个 业务 应 用 ， 添 加 了 相应 的 请 求 凑 ，Nginx GZIP 压 缩 级 别 
为 2~4 时 厨 吐 量 最 高 。 应 用 服务 器 流量 降 了 5 倍 左 右 。 目 前 正 第 情况 CPU 
的 使 用 率 在 4% 以 下 。 









2015-07-01 07:00 
cpu.prct used (Max:3.933% Cur:%): 1.767% 


_ | el "cl JTS 





16.8 ”其 他 


在 Nginx 接 入 层 实现 线 上 灰 度 引流 。 在 接 入 层 转 发 请 求 时 只 保留 有 用 请 

求 凑 ， 因 而 后 病 Tomcat 不 必 解 析 无 用 的 请 求 凑 。 使 用 不 市 Cookie 的 无 状 
态 域名 《〈 如 c.3.cn) 减少 请 求 流量 ， 比 如 jd.com 域 名 下 边 可 能 存在 1KB 的 
Cookie， 但 是 服务 需 端 根本 不 需要 。Nginx Proxy Cache H ZAA 
te, USERRA, WRT RNS. EH SERA SE ht Dv MY 
ASS ZR AF RAN RETK BI] Ja m A Clua-resty- 

lock/proxy_cache_lock) 。 使 用 Twemproxy 等 代理 减少 Redis 连 接 数 。 使 

用 unix domain socket 套 接 字 减少 本 机 TCP 连 接 数 。 设 置 合理 的 超时 时 间 
CER. dx. 5) 。 使 用 长 连接 减少 内 部 服务 的 连接 数 。 去 数据 库 依 赖 
(协调 部 门 迁 移 数据 库 是 很 痛 震 的， 目前 内 部 使 用 机 房 域名 而 不 是 卫 地 
HE) 。 客 户 问 同 域 连 接 限 制 ， 进 行 域名 分 区 : c0.3.cn、c1.3.cn， 如 采 未 
来 文 持 HITP/2.0 的 话 ， 则 不 再 适用 。 


四 要 了 解 系 东 于 机 详情 页 架构 ， 可 扫 二 维 但 参考 《 乐 东 手 机 商品 详情 页 
SLANE BE) 。 





17 K A m ve T DUI OS AS SEX 


束 东 商品 详情 页 技术 方案 在 第 16 草 已 经 详细 介绍 了 ， 接 下 来 为 大 家 揭秘 
双 11 抗 下 几 十 亿 流 量 的 商品 详情 页 统一 服务 架构 ， 这 次 双 11 区 个 商品 详 
悄 页 没有 出 现 不 服务 的 悄 况 ， 服 务 非 第 稳定 。 统 一 服务 提供 了 促销 和 广 
告 词 合 并 服务 、 库 存 状 态 / 配 送 全 服务 、 延 你 服务 、 试 用 服务 、 推 荐 服 

务 、 图 书 相 关 服 务 、 评 情 负 优惠 节 服 务 、 今 日 抄 压 服 务 等 服务 支持 。 这 
些 服务 中 有 我 们 目 己 做 的 服务 实现 ， 还 有 一 些 是 徐 单 做 一 下 代理 或 者 接 
口 ， 做 合并 和 输出 到 页 面 ， 我 们 将 这 些 服 务 聚 合 到 一 个 系统 鸭 目的 是 打造 
服务 闭环 ， 优 化 更 有 服务 ， 并 为 未 来 需求 做 准备 ， 跟 着 目 己 的 方 同 走 ， 

而 不 被 询 人 打 乱 我 们 的 方 癌 。 


大 家 在 页 面 中 看 到 的 c.3.cn/c0.3.cn/c1.3.cnycd.jd.com 请 求 都 是 统一 服务 的 
A Cla 


17.1 为 什么 需要 统一 服务 


商品 详情 页 虽然 只 有 一 个 页 面 ， 但 是 依 顿 的 服务 众多 ， 我 们 需要 把 控 好 
入 口 ， 统 一 化 管理 。 这 样 的 好 处 是 在 统一 管理 和 监控 下 ， 出 问题 可 以 统 
一 降级 。 可 以 把 一 些 相 关 接 口 合并 和 输出， 减少 页 面 的 异步 加 载 请 求 。 一 
些 前 痛 逸 辑 后 移 到 服务 豆 咒 ， 前 闯 只 做 展示 ， 不 进行 逸 辑 处 理 。 


有 了 它 ， 所 有 入 口 虱 在 我 们 的 服务 中 ， 我 们 可 以 更 好 地 监控 和 思考 我 们 
页 面 的 服务 ， 让 我 们 能 运筹 于 惧 蛋 之 中 ， 决 胜 于 干 里 之 外 。 在 设计 一 个 
RIAN Ray, Bee SAIN EAI: ce AT EAC? 不 可 降 
级 怎么 处 理 ? ce AS RIKI SERIE A? UR PR a? TEMS AR 
A UE E R BE DUE A B6 LIE, ERA RU n] SE VF SEE ake TERIS T DG P 


正常 工作 ， 也 是 我 们 要 深入 思考 和 解决 的 问题 。 


17.2 ”整体 架构 





| Nginx Cache ^ 
或 






\ Bite cu / 








整体 流程 如 下 。 


1. 请 求 首 先进 入 Nginx，Nginx 调 用 Lua 进 行 一 些 前 置 逻辑 人 处理， 如 果 前 
a 那么 直接 返回 ， 然 后 查询 本 地 缓存 ， 如 果 命 中 ， 则 直接 
ik [n A 


2. 如 果 本 地 缓存 未 命中 数据 ， 则 查询 分 布 式 Redis 和 集群 ， 如 果 命 中 数据 ， 
则 直接 返回 。 


3. 如 果 分 布 式 Redis 集 群 未 命中 数据 ， 则 调用 Tomcat 进 行 回 源 处 理 。 然 后 
把 结果 异步 写 入 Redis 集 群 ， 并 返回 


如 上 是 整个 迎 辑 流程 ， 可 以 看 到 我 们 在 Nginx 这 一 层 做 了 很 多 前 置 逻 辑 
处 理 ， 以 此 来 减少 后 端 压力 ， 另 外 ， 我 们 的 Redis 集 群 分 机 房 部 署 如 下 


图 所 示 。 






Nginx+Lua 





LVS+HAProxy 





从 Redis 集 群 


SUBIT 主 Redis 集 群 -同步 
sin 


即 数据 会 写 一 个 主 集 群 ， 然 后 通过 主 从 方式 把 数据 复制 到 其 他 机 房 ， 各 
个 机 房 读 目 己 的 集群 。 此 处 没有 在 各 个 机 房 做 一 僚 独 立 的 集群 来 你 证 机 
房 乙 则 没有 交叉 访问 ， 这 样 做 的 目的 是 保证 数据 一 致 性 。 


在 这 套 新 架构 中 ， 可 以 看 到 Nginx+Lua 已 经 是 应 用 的 一 部 分 ， 我 们 在 实 
际 使 用 中 也 是 把 它 作为 项 目 进行 开发 ， 作 为 应 用 进行 部 署 。 


17.3 ”一 些 架 构思 路 和 上 总结 
我 们 主要 遵循 如 下 几 个 原则 设计 系统 架构 。 
17.3.1 两 种 谈 服 务 架 构 模 式 


1. 谈 取 分 布 式 Redis 数 据 染 构 
如 下 图 所 示 可 以 看 到 Nginx 应 用 和 Redis 单 独 部 署 ， 这 种 方式 是 一 般 应 用 








的 部 童 借 式 ， 也 征 我 们 统一 服务 的 部 普 模 式 ， 此 处 会 存在 路 机 套 、 路 区 
换 机 或 跨 机 柜 读 取 Redis 绥 存 的 情况 ， 但 是 不 存在 跨 机 房 情 况 ， 因 为 是 
通过 主 从 方式 把 数据 复制 到 各 个 机 房 。 如 末 对 性 能 要 求 不 是 非 第 苛刻 ， 
则 可 以 考虑 这 种 架构 ， 比 较 容易 维护 。 

















NNUS 

Nginx*Lua 
从 Redis 集 群 < 
| |I 
Nginx+Lua | 
| 

LVS+HAProxy 

— | 
B 机 房 | | 
Nginx*Lua | 
从 Redis 集 群 «2 

Nginx+Lua 




















Tomcat Tomcat Tomcat [n] gi 


2. 访 取 本 地 Redis 数 据 架 构 


如 下 图 所 示 ， 可 以 看 到 Nginx 应 用 和 Redis 集 群 部 闭 在 同一 台 机 问 上 ， 这 
样 的 好 处 是 可 以 消除 跨 机 器 、 跨 交换 机 或 跨 机 柜 ， 其 至 跨 机 房 调用 。 如 
果 本 地 Redis 和 集群 不 命中 ， 则 还 是 回 源 到 Tomcat 和 集群 进行 取 数 据 。 此 种 
方式 可 能 受 限 于 TCP 连 接 数 ， 可 以 考虑 使 用 unix domain socket EF TI 
少 本 机 TCP 连 接 数 。 如 果 单 机 内 存 成 为 瓶颈 〈 比 如 单机 内 存 最 大 为 
256GB) ， 那 么 瓯 需要 路 由 机 制 来 进行 分 片 ， 比 如 ， 投 照 商 品 尾 号 分 
厂 ，Redis 集 群 一 般 灯 用 树 状 结构 挂 主 从 部 彰 。 


LVS+HAProxy 


=} 





x] 
从 Redis 集 群 


m 





17.3.2 ”本 地 缓存 


我 们 把 Nginx 作 为 应 用 部 普 ， 因 此 我 们 大 量 使 用 Nginx 共 吾 字 典 作为 本 地 
绥 存 。 在 Nginx+Lua 架 构 中 ， 使 用 HttpLuaModule 模 块 的 Shared dict 做 本 
地 缓存 (reload 不 丢失 ) 或 内 存 级 Proxy Cache， 提 升 缓存 带 来 的 性 能 3 
减少 市 宽 消 耗 。 另 外 ， 我 们 使 用 一 致 性 哈 希 《如 商品 编号 /分 类 ) 做 负 
载 均 衡 ， 内 部 对 UREL 重 写 提 升 命 中 率 。 


我 们 在 绥 存 数据 时 ， 采 用 了 维度 化 存储 绥 存 数据 ， 增 量 获取 失效 缓存 数 
据 《〈 比 如 10 个 数据 ，3 个 没命 中 本 地 缓存 ， 只 需要 取 这 3 个 即 可 ) 。 维 度 
如 商家 人 信息、 店铺 信 息 、 商 家 评分 、 店 铺 头 、 品 牌 信 息 、 分 类 信息 等 。 
比如 ， 我 们 本 地 缓存 30min， 调 用 量 会 减少 3 倍 左右 。 


另外 ， 我 们 使 用 一 致 性 哈 希 和 本 地 缓存 可 以 提升 命中 率 ， 如 库存 数据 组 
存 5s， 平 常 命中 率 : 本 地 缓存 25%， 分 布 式 Redis 28%， 回 源 47%; 一 次 
普通 秒杀 活动 命中 率 : 本 地 缓存 58%、 分 布 式 Redis 15%, [AIYH27%, Tih 
某 个 服务 使 用 一 致 哈 希 后 命中 率 提升 10%; 防止 URL 顺 序 不 同 导致 缓存 
命中 率 低 ， 或 存在 一 些 如 时 间 这 种 随机 参数 ， 即 页 面 URL 不 管 怎么 变 都 
不 要 让 它 成 为 绥 存 不 命中 的 因素 。 


17.3.3 ”多 级 缓存 


对 于 读 服务 ， 我 们 在 设计 时 会 使 用 多 级 缓存 来 尽量 减少 后 端 服务 压力 ， 
在 统一 服务 系统 中 ， 我 们 设计 了 4 级 缓存 ， 如 下 图 所 示 。 
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Nginx AJE 
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1. H Z6 TEBEAN E f H]Nginx AMAR, MAREE RH Ne A 
B BRED OR WE FIN TA 


2.UN A Nginx AHA EAD a, ASA BU a T 55 I) 2) ff OM 
Redis 绥 存 集 群 ， 该 缓存 主要 是 你 人 存 大量 离 散 数 据 ， 抗 大 规模 离散 请 
求 ， 比 如 ， 使 用 一 致 性 哈 而 来 构建 Redis 集 群 ， 即 使 其 中 的 茶 合 机 玲 出 
问题 ， 也 不 会 出 现 雪 毅 的 情况 。 


3. 如 果 从 Redis 集 群 不 命中 ， 则 Nginx 会 回 源 到 Tomcat。Tomcat 首 先 读 取 
本 地 堆 绥 存 ， 这 个 主要 用 来 文 持 在 一 个 请 求 中 多 次 谈 取 一 个 数据 或 者 与 
该 数据 相关 的 数据 。 而 其 他 情况 命中 率 是 非常 低 的 ， 或 者 绥 存 一 些 规模 
比较 小 但 用 得 非 浊 频繁 的 数据 ， 如 分 类 、 蝇 肚 数据 。 堆 缓存 时 间 我 们 设 
置 为 Redis 绥 和 存 时 间 的 一 半 。 


4. 如 果 Java 推 绥 存 不 命中 ， 则 会 谈 取 主 Redis 集 群 ， 正 常情 况 下 该 缓 存 命 
中 率 非 常 低 ， 只 有 不 到 5%。 旋 取 该 缓存 的 目的 是 防止 前 闯 缓 存 失效 之 
后 有 大 量 请 求 涌 入 ， 进 而 导致 后 病 服 务 压力 太 大 而 雪崩 。 我 们 默认 开局 
Sie, BAMI SLEW te E, (Ae By) DR Be BaP 

盾 ， 使 服务 更 稳当 可 靠 。 此 处 可 以 做 一 下 改善 ， 比 如 我 们 设置 一 个 国 

值 ， 超 过 这 个 国 值 我 们 才 读 取 主 Redis 集 群 ， 比 如 Guava 束 由 RateLimiter 
API 来 实现 。 


17.3.4 ”统一 入 口 /服务 闭环 


在 第 16 草 中 已 经 讲 过 了 数据 异 构 财 环 的 收益 ， 在 统一 服务 中 我 们 也 这 循 
这 个 设计 原则 ， 此 处 我 们 主要 做 了 两 件 事情 。 


”数据 姑 构 ， 如 我 们 对 判断 库存 状态 依赖 的 父 闻 、 配 件 关 系 进行 了 陆 
构 ， 未 来 可 以 对 了 商家 运费 等 数据 进行 卉 构 ， 减 少 接口 依赖 。 


”服务 闭环 ， 所 有 单 品 页 上 用 到 的 核心 接口 都 接 入 统一 服务 。 有 些 是 碍 
库 / 绥 存 然后 做 一 些 业务 馆 辑 ， 有 些 旦 HTTP 接口 调用 然后 进行 简单 的 数 
扼 锡 辑 处 理 。 还 有 一 些 束 是 做 了 人 简单 的 代理 ， 并 监控 接口 服务 质量 。 


17.4 引入 Nginx 接 入 层 


我 们 在 设计 系统 时 需要 把 一 些 逻 辑 尽 可 能 前 置 ， 以 此 来 减轻 后 端 核心 多 
辑 的 压力 ， 而 且 可 以 让 服务 升级 /服务 降级 非常 方 便 地 进行 切换 ， 在 接 
入 层 我 们 做 了 如 下 事情 。 


17.4.1 数据 校 验 / 过 滤 逻 辑 前 置 


我 们 的 服务 有 两 种 类 型 的 接口 : 一 种 是 与 用 户 无 天 的 接口 ， 忆 一 种 则 是 
与 用 户 相 关 的 接口 。 因 此 我 们 使 用 了 两 种 次 型 的 域名 
c.3.cn/c0.3.cn/c1.3.cn 和 cd.jd.com。 当 我 们 请 求 cd.jd.com 时 会 市 痢 用 户 
Cookie 信 息 到 服务 左 病 。 在 服务 需 上 会 进行 请 求 头 的 处 理 ， 用 户 无 天 的 
所 有 数据 通过 参数 传递 ， 在 接 入 层 会 于 并 所 有 的 请 求 头 《〈 保 留 gzip 相 关 
的 头 ) 。 而 用 户 相 关 的 数据 会 从 Cookie 中 解 出 用 户 信息 ， 然 后 通过 参数 
传递 到 后 病 。 也 就 是 后 闯 应 用 从 来 束 不 关心 请 求 头 及 Cookie 信 息 ， 所 有 
信息 通过 参数 传递 。 


请 求 进入 接 入 层 后 ， 会 对 参数 进行 校 验 ， 如 各 参数 校 验 不 合法 ， 则 直接 
拒绝 这 次 请 求 。 我 们 对 每 个 请 求 的 参数 进行 了 最 严格 的 数据 校 验 处 理 ， 
你 证 数据 的 有 效 性 。 如 下 图 所 示 ， 我 们 对 关键 参数 进行 了 过 滤 ， 如 采 这 
EBM BIE, ASA wl ARAB AGTEK o 


local skuld = getSkuld(srgs[ skuId ]) —-sku 

local venderId = getVenderld(srgs[' venderId ]) -一 商家 ia 
local cat = getCat(argsz[ cat’ J) ——Ap 3E 

local area = getArea(args[" area ]) —— [x [ak 





另外 ， 我 们 还 会 对 请 求 的 参数 进行 过 沽 ， 然 后 按照 固定 的 模式 重新 拼装 
URL 调 度 到 后 端 应 用 ， 此 时 ，URL 上 的 参数 是 固定 的 而 且 是 有 序 的 ， 可 
以 按照 URL 进 行 缓存 。 


17.4.2. RTA E 


PONTE & ZEE WU ELT. PATER EAT AU CE UU, m HU 7X 
性 哈 和希 也 许可 以 提升 缓存 的 命中 率 。 在 缓存 时 ， 我 们 按照 业务 来 设置 组 
存 池 ， 减 少 相 互 之 间 的 影响 并 提升 并 及 率 。 我 们 使 用 Lua 读 取 共 至 字典 
来 实现 本 地 绥 存 。 


17.4.3 ”业务 逻辑 前 置 


我 们 在 接 入 层 直 接 实 现 了 一 些 业务 逻辑 ， 原 因 是 如 果 在 高 峰 时 出 问题 ， 
可 以 在 这 一 层 做 一 些 泌 辑 升 级 。 我 们 后 闪 是 Java 应 用 ， 当 修复 馆 辑 时 需 
要 上 线 ， 而 一 次 上 线 可 能 花费 数 十 秒 时 间 局 动 应 用 ， 重 局 应 用 后 Javaj 
用 JIT 的 问题 会 存在 性 能 拉动 的 问题 ， 可 能 因为 重启 造成 服务 一 下 局 动 
不 起 来 的 问题 。 而 在 Nginx 中 做 这 件 事 情 ， 改 完 代 人 码 推 送 到 服务 占 ， 重 
司 只 雷 要 秒 级 ， 而 且 不 存在 拌 动 问题 ， 这 些 逻 辑 痢 是 在 Lua 中 完成 的 。 


17.4.4 ”降级 开关 前 置 


我 们 将 降级 开关 分 为 这 么 几 种 : RATE IP RAM a im LIK IPRA 
原子 开关。 我 们 在 接 入 层 设 蜀 开关 的 目的 是 为 了 防止 降级 后 流量 偿 无 谓 
地 打 到 后 站 应 用 。 总 开关 是 对 整个 服务 降级 ， 比 如 ， 库 存 服务 默认 有 
货 。 而 原子 开关 是 对 整个 服务 中 的 一 个 小 服务 降级 ， 比 如 库存 服务 中 需 
要 调用 商家 运 肌 服务 ， 如 采 只 是 商家 运费 服务 出 问题 了 ， 则 此 时 可 以 只 
降级 商家 运费 服务 。 万 外 ， 我 们 还 可 以 根据 服务 重要 程度 来 使 用 超时 目 
动 降级 机 制 。 


我 们 使 用 init_by_lua_file 和 初始 化 开关 数据 ， 共 圣 字 典 和 存储 开关 数据 ， 所 

供 API 进 行 开关 切换 Cswitch get(*stock.api.not.call) ~= “1”) 。 可 以 实 
现 秒 级 切换 开关 、 增 量 式 切 换 开 关 〔 可 以 按照 机 器 组 开启 ， 而 不 是 所 有 
ABTS) 、 功 能 切换 开头 、 细 粒度 服务 降级 开关 ， 非 核心 服务 可 以 实现 
超时 目 动 降级 。 


比如 ， 双 11 期 间 有 些 服务 出 问题 了 ， 我 们 进行 过 大 服 务 和 小 服务 的 降级 


操作 ， 这 些 操作 对 用 户 来 说 都 是 无 感知 的 。 
17.4.5 A/BJlli| 1X 


对 于 服务 升级 ， 最 重要 的 就 是 做 A/B 测 试 ， 然 后 根据 A/B 测 试 的 结果 来 
看 是 含 切换 新 服务 。 而 有 了 接 入 层 非 钊 容易 进行 这 种 A/B 测 试 。 不 管 是 
上 线 还 是 切换 都 非常 容易 。 可 以 在 Lua 中 根据 请 求 的 信息 调用 不 同 的 服 
务 ， 或 者 通过 upstream 分 组 即 可 完成 A/B 测 试 。 


17.4.6” 灰 上 度 及 布 /流量 切换 


对 于 一 个 灵活 的 系统 来 说 ， 能 随时 进行 灰 度 发 布 和 流量 切换 是 非 铝 重 要 
的 一 件 事 情 ， 比 如 ， 验 证 新 服务 右 是 否 稳定 ， 或 者 验证 新 的 名 构 是 否 比 
老 架 构 更 优秀 ， 有 时 只 有 在 线 上 运行 才能 看 出 是 个 有 问题 。 我 们 在 接 入 
层 可 以 通过 配置 或 者 与 Lua 代 但 来 完成 这 件 事情 ， 有 灵活 性 非常 好 。 可 以 
设置 多 个 upstream 分 组 ， 然 后 根据 需要 切换 分 组 即 可 。 


17.4.7 ”监控 服务 质量 


对 于 一 个 系统 来 襄 ， 最 重要 的 古 要 有 一 双眼 睛 能 且 丰 系统， 以便 尽 可 能 
早 地 发 现 问 题 ， 我 们 在 接 入 层 会 对 请 求 进行 代理 ， 记 录 status、 
request_time、response_time 来 监控 服务 质量 ， 比 如 ， 根 据 调 有 用量、 状态 
码 是 否 是 200、 响 应 时 间 来 告警 。 


17.4.8 [Rift 


RANI ASAE SES R JOE RE, ONT AS BOR FEA IP rk BER 
im, PSAP PRES AA R. MP PIE OR AA ET Mit, H 
对 打 到 后 端 系 统 的 请 求 进行 限 流 。 还 可 以 限制 用 户 访 问 频 率 ， 比 如 ， 使 
用 ngx_lua 中 的 ngx.sleep 对 请 求 进 行 体 眠 处 理 ， 让 刷 接 口 的 速度 降下 来 。 
或 者 种 桓 cookie token 之 闫 的， 必须 投 照 流程 访问 。 当 然 还 可 以 对 礁 果 / 
刷 数 据 的 请 求 返 回 假 数 据 来 减少 影响 。 


17.5 “前端 业务 逻辑 后 置 


前 端 JS 应 该 尽 可 能 少 写 业 务 逻 辑 和 一 些 切换 逻辑 ， 因 为 前 端 JS 一 般 推 送 


到 CDN， 假 设 逻 辑 出 问题 了 ， 需 要 更 新 代码 上 线 ， 推 送 到 CDN 然 后 让 
各 个 边缘 CDN 节 点 失效 ， 或 者 通过 版 本 号 机 制 在 服务 噩 端 模板 中 修改 版 
本 写 上 线 。 这 两 种 方式 都 存在 效率 问题 ， 假 设 处 理 一 个 紧急 故障 ， 用 这 
两 种 方式 处 理 的 过 程 中 可 能 故障 早已 经 恢复 了 。 因 此 ， 我 们 的 观点 是 前 
端 JS 只 拿 数 据 展 示 ， 所 有 或 大 部 分 逻辑 交 给 后 端 去 完成 ， 即 静态 资源 
CSS/JS CDN， 动 态 资源 JSONP。 前 端 JS 瘦身 ， 业 务 逻 辑 后 置 。 


在 “ 双 112? 期 间 我 们 的 东 些 服务 出 问题 了 ， 不 能 更 新 商品 信息 ， 此 时 秘 杀 
了 丙 品 需要 打 标 处 理 ， 因 此 我 们 在 服务 具 剖 完成 了 这 件 事情 ， 整 个 处 理 过 
程 只 需要 儿 十 秒 束 能 搞定 ， 人 避免 了 商品 个 能 个 秒 杀 的 问题 。 而 如 果 在 JS 
中 完成 ， 则 十 要 耗 恬 非 第 长 的 时 间 ， 因 为 JS 在 客户 响 还 有 绥 存 时 间 ， 而 
且 一 般 绥 存 时 间 非 党 长 。 


17.6 “前端 接口 服务 器 端 聚 合 


商品 详情 页 上 依赖 的 服务 众多 ， 一 个 类 似 的 服务 需要 请 求 多 个 不 相关 的 
RSH, TERE RAS BEAT, FTI SRR SS MRT ICE eK E 
TR, RIERA RE BU Xm FE go —-S API, RATIER AEE 
"AC. Ain eS PAE RARE]. AA BT ae FERS x8 
Se X f NE TEE PH in se A, RIEA RH Lua FEAL E A 
调用 多 个 相关 服务 ， 最 后 把 这 些 服务 进行 合并 ， 比 如 几 种 推荐 服务 : 最 
佳 组 合 、 推 荐 配件 、 优 惠 套 装 。 通 过 http://c.3.cn/recommend? 
methods-accessories,suit, 
combination&sku-1159330&cat-6728,6740,12408&lid-1&lim-63t 17 idi HK 
SRA EG WAGE, XFER K BU Pg iis 22 V] Hd — UK ER) O E fg 6 DX OG HE TUE 
出 所 有 数据 。 


我 们 对 这 种 请 求 进行 了 API 封 装 ， 如 下 图 所 示 。 





if switch get("sccessories.spi.not.call^) “= “1” and methods['sccessories' ] and checkIsEnsbleAccess(skuId, cst[1], cst[2]) then 


local area = srgs.sre 
pis[ accessories ] = { 
allback = nil 
charset = gbk 
url = "/recommen d/accessories 
args = "skuld- kuld acl cat[1] .. “&c2 cat [2] &c3 cat[3] .. “ar ar 
l 
nd 


NNNNA 


if switch get("suit.spi.not.csll") “= “1” and methods['suit'] then 


apis[' suit' ] 二 { 


method = ‘suit’ 

callback = nil 

harset = “gbk” 

url = "/recommend/suit 
args = "skuld-" kuId 


invokeApis(apis, true) 





LUE FERS, Fale aA hee BEAT: | Eten FE PEK AS. ETA aT DY 
WER, TAMERS ETE n BAP Pe EAS 2 Ee T E nn BE 
Tex. EREA mE MEMA m. AE IH m ETE ET SII 
A. UNREST Bs, Wu ERA RV EARS TAXES 
组 合 判断 ， 这 样 前 交代 但 会 非常 复杂 ， 凡 是 涉及 调用 库存 的 服务 都 要 进 
行 这 种 判断 。 因 此 ， 我 们 把 这 些 逻 辑 封 装 到 服务 端 完成 。 前 端 请 求 
http://c0.3.cn/stock? 

skuIld-1856581&venderId-0&cat-9987,653,655&area-1 72 2840 0&b 
uyNum=1&extraParam= 

{%22originid%22:%221%22 } &ch-1&callback-getStockCallback, %A Ja Ak 
Ah VE GET PEEKS» BID Pm AS m SEB TRE ed AE FEARS EH Lua 
协 程 并 友 的 进行 库存 调用 ， 如 下 图 所 示 。 





人 查询 主 疝 品 库存 
EH imt Bm 
| | 库存 状态 合并 





会 询 主 商品 对 应 的 附件 和 套装 子 商品 ， 及 套 效 商 喇 的 附件 E WT H m ENF 














和 再 比如 今日 抄底 服务 ， 调 用 接口 太 多 ， 如 库存 、 人 价格、 促销 等 都 需要 调 
用 ， 因 此 ， 我 们 也 使 用 这 种 机 制 把 这 几 个 服务 在 接 入 层 合 并 为 一 个 大 服 
€. AIh http://c.3.cn/today? 

skulId-1264537&area-1 72 2840 O&promotionId-182369342&cat-737, 





752,760&callback=jQuery9364459&_=1444305642364. 


我 们 目前 合并 的 主要 有 : AM Tar. AAR KIRA GIF m 
未 来 这 些 服务 都 会 合并 ， 并 会 在 前 咒 进 行 一 些 特殊 处 理 ， 比 如 设置 超 
时 ， 超 时 后 自动 调用 原子 接口 。 接 口 吐出 的 数据 状态 码 不 对 ， 再 请 求 一 
次 原子 接口 获取 相关 数据 。 


17.7 服务 隔离 


服务 隔离 的 目的 古 防 止 因为 芭 些 服务 拌 动 而 造成 整个 应 用 内 的 所 有 服务 
不 可 用 ， 可 以 分 为 应 用 内 线程 池 隅 离 、 部 童 /分 组 隔离 、 拆 应 用 隅 离 。 


. 应 用 内 线程 池 隔 离 ; 我 们 采用 了 Servlet 3 异步 化 ， 并 为 不 同 的 请 求 按 
照 重要 级 别 分 配 线程 池 ， 这 些 线程 池 是 相互 隔离 的 ， 我 们 也 提供 了 监控 
接口 以 便 发 现 问题 并 及 时 进行 动态 调整 ， 该 实践 可 以 参考 第 3 章 内 容 。 


- WE /分 组 隔离 : 意思 十 为 不 同 的 消费 方 提供 不 同 的 分 组 ， 不 同 的 分 
组 之 间 相 互 不 影响 ， 以 免 因为 大 家 使 用 同一 个 分 组 导致 有 些 人 乱用 ， 致 
使 整个 分 组 服务 不 可 用 。 


“ 拆 应 用 隔离 : ”如果 一 个 服务 调用 量 巨 大 ， 那 么 我 们 便 可 以 把 这 个 服务 
| 做 成 一 个 应 用 ， 减 少 因 其 他 服务 上 线 或 者 重启 导致 影响 本 
Ww Hi. 


18 ”使 用 OpenResty 开 发 高 性 能 Web 
应 用 


在 互联 网 公司 ，Nginx 可 以 说 是 标 配 组 件 ， 但 是 主要 场景 还 是 负载 均 
衡 、 反 同 代 理 、 代 理 缓存、 限 流 等 。 而 把 Nginx 作 为 一 个 Web 容 妖 使 用 
的 还 不 是 那么 广泛 。Nginx 的 高 性 能 是 大 家 公认 的 ， 而 Nginx 开 发 主要 是 
以 C/C++ 模块 的 形式 进行 ， 整 体 学 习 和 开发 成 本 偏 珊 。 如 果 和 需要 一 种 人 简 
单 的 语言 来 实现 Web 应 用 的 开 有 及， 那么 Nginx 绝 对 是 个 好 选择 。 上 有 目前， 
Nginx 团 队 也 开始 意识 到 这 个 问题 ， 开 及 了 nginxScript， 可 以 在 Nginx 中 
使 用 JavaScript 进 行动 态 配置 一 些 变 量 和 动态 脚本 执行 。 而 目前 市 面 上 用 
得 非常 成 熟 的 扩展 是 由 章 亦 春 将 Lua 和 Nginx 黏 合 的 ngx_lua 模 块 ， 并 且 
将 Nginx 核 心 、 LuaJIT. ngx_lua 模 块 、 许多 有 用 的 Lua 库 和 和 钊 用 的 第 三 方 


Nginx 模 块 组 合 在 一 起 成 为 OpenResty， 这 样 开发 人 员 就 可 以 安装 
OpenResty， 使 用 Lua 编 号 脚本 ， 然 后 部 着 到 Nginx Web 容 占 中 运行 ， 这 
FEE JE TS EETATILJT Ac t te HE BE Web IRS . 


接 下 来 ， 我 们 就 认识 一 下 构成 Open Resty 的 Nginx、Lua、ngx_lua 模 块 ， 
以 及 OpenResty 到 压 能 开发 哪些 类 型 的 Web 应 用 。 


18.1 OpenResty{ii 7} 


18.1.1 Nginx 优 点 


Nginx 设 计 为 一 个 主 进程 多 个 工作 进程 的 工作 模式 ， 每 个 进程 是 单线 程 
来 处 理 多 个 连接 ， 而 且 每 个 工作 进程 床 用 了 非 阻 守 IO 来 处 理 多 个 连 
接 ， 从 而 减少 了 线程 上 下 文 切换 ， 实 现 了 公认 的 融 性 能 、 珊 并 友 。 
此 ， 在 生成 环境 中 会 通过 把 CPU 绑 定 给 Nginx 工 作 进 程 ， 从 而 提升 其 性 
能 。 万 外， 因为 单线 程 工作 模 却 的 特点 ， 内 存 喇 用 区 非常 少 了 。 


Nginx 更 改 配置 后 重 局 速度 非 利 快 ， 可 以 达到 坚 秒 级 ， 而 且 文 持 不 停止 
Nginx 进 行 升 级 Nginx 上 不 本、 动态 重 载 Nginx 配 置 。 


Nginx 模 块 也 非常 多 ， 功 能 也 很 强劲 ， 不 仅 可 以 作为 HTTP 负 载 均 衡 ， 
Nginx 发 布 1.9.0 版 本 还 支持 TCP 负 载 均 衡 ， 还 可 以 很 容易 地 实现 内 容 组 
存 、Web 服 务 器 、 反 向 代理 、 访 问 控制 等 功能 。 


18.1.2 Lua 的 优点 


Lua 是 一 种 轻 量 级 、 可 和 通 入 式 的 脚本 语言 ， 可 以 非常 容易 地 租 入 到 其 他 
语言 中 使 用 。 男 外 ，Lua 提 供 了 协 程 并 发 ， 即 以 同步 调用 的 方式 进行 异 
步 执行 ， 从 而 实现 并 发 ， 比 起 回调 机 制 的 并 发 来 说 代码 更 容易 编写 和 理 
解 ， 排 查 问题 也 会 更 容易 。Lua 还 提供 了 闭 包 机 制 ， 孙 数 可 以 作为 First 
Class Value 进 行 参数 传递 ， 男 外 ， 其 实现 了 标记 清除 垃圾 收集 。 


因为 Lua 的 小 巧 轻 量 级 ， 可 以 在 Nginx 中 艇 入 Lua VM， 请 求 的 时 候 创 建 
一 个 VM， 请 求 结 束 的 时 候 回 收 VM。 


18.1.3 ”什么 古 ngx_lua 


ngx_lua 是 章 相 春 编 写 的 Nginx 的 一 个 模块 ， 将 Lua 藤 入 到 Nginx 中 ， 从 而 
可 以 使 用 Lua 来 编写 脚本 ， 部 普 到 Nginx 中 运行 ， 即 Nginx 变 成 了 一 个 
Web 容 大 。 这 样 开 及 人 员 了 驶 可 以 使 用 Lua 语 言 开 及 高 性 能 Web 应 用 了 。 


ngx_lua 提 供 了 与 Nginx 交 互 的 很 多 API， 对 于 开发 人 员 来 说 只 需要 学 习 
这 些 API 束 可 以 进行 功能 开发 ， 而 对 于 开发 Web 应 用 来 说 ， 如 果 接 触 过 
Servlet 的 话 ， 你 会 发 现 其 开发 和 Servlet 类 似 ， 无 外 乎 就 是 知道 接收 请 

求 、 人 参数 解析 、 蕊 能 处 理 、 返 回 啊 应 这 几 步 的 API 是 什么 样子 的 。 


18.1.4 开发 环境 


我 们 使 用 OpenResty 来 搭建 开发 环境 ，OpenResty 将 Nginx 核 心 、 

LuaJIT、 许 多 有 用 的 Lua 库 和 Nginx 第 三 方 模块 打包 在 一 起 。 这 样 开 发 人 
员 只 圾 要 安 站 OpenResty， 个 需要 了 解 Nginx 核 心 和 瑟 复 淋 的 C/C++ 模 
块 ， 只 需要 使 用 Lua 语 言 进行 Web 应 用 开 肥 。 


如 何 安 装 可 扫描 下 面 二 维 码 参考 笔者 写 的 《 跟 我 学 
OpenResty (Nginx+Lua) 开发》 教程 。 
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18.1.5 OpenRestyÆ£ %5 


OpenResty 提 供 了 一 些 间 用 的 ngx_lua 开 发 模块 ， 如 lua-resty- 
memcached, lua-restymysql. lua-resty-redis. lua-resty-dns. lua-resty- 
limit-traffic. lua-resty-template. 


这 些 模块 涉及 如 MySQL 数 据 库 、Redis、 限 流 、 模 块 泻 染 等 常用 功能 组 
件 。 另 外 ， 也 有 很 多 第 三 方 的 ngx_lua 组 件 供 我 们 使 用 ， 对 于 大 部 分 应 
用 场景 来 说 ， 现 在 生态 环境 中 的 组 件 已 经 足够 多 了 。 如 果 不 满足 需求 ， 


那么 也 可 以 自己 去 写 来 完成 需求 。 
18.1.6 场景 


目前 CDNJ 丙 使 用 OpenResty 较 多 ， 而 像 束 东 有 使 用 OpenResty 开 友 复 杂 
的 web 应用。 目前 见 到 的 一 些 应 用 场景 如 下 。 


Web 应 用 : 会 进行 一 些 业 务 迎 辑 处 理 ， 甚 至 进行 耗 CPU 的 模板 泻 桨 ， 
一 般 流 程 包括 mysgl/Redis/HTTP 获 取 数 据 、 业 务 处 理 、 产 生 JSON/XML/ 
模板 演 染 内 容 ， 比 如 ， 系 东 的 列表 页 /商品 详情 页 。 


. 接 入 网 天 : 实现 如 数据 校 验 前 置 、 绥 存 前 置 、 数 据 过 小 、API 请 求 聚 
A ABUNA KERM, R AIER EW, RRIK 
Nginx 玫 点 、 无 线 部 门 正 在 开 及 的 无 线 网 大、 单 品 页 统一 服务 、 实 时 价 
格 、 动 态 服务 。 


Webb; : 可 以 进行 IP/URLVUSerAgenVReferer 黑 名 单 、 限 流 等 功 


Ob 
HE o 


. 缓存 服务 器 :可 以 对 响应 内 容 进 行 缓存 ， 减 少 到 达 后 端的 请 求 ， 从 而 
提升 性 能 。 


其 他 : ORAS AMRS aa. YETI HRA. "ihn ESO. 


18.2 ”基于 OpenResty 的 常用 架构 模式 
18.2.1 人 负载 均衡 


如 下 图 所 示 ， 我 们 首先 通过 LVS+HAProxy 将 流量 转发 给 核心 Nginx 1 和 
核心 Nginx 2， 即 实现 了 流量 的 负载 均衡 ， 此 处 可 以 使 用 如 轮 询 、 一 致 
性 哈 希 等 调度 拭 法 来 实现 负载 的 转 友 。 然 后 核心 Nginx 会 根据 请 求 特征 
如 “Host:item.jd.com”， 转 用 给 相应 的 业务 Nginx 和 点， 如 单口 页 Nginx 
1。 此 处 为 什么 分 两 层 呢 ? 


LVS+HAProxy 


核心 Nginx 1 核心 Nginx 2 
单 品 页 Nginx 1 单 品 页 Nginx 2 


. 核心 Nginx 层 是 无 状态 的 ， 可 以 在 这 一 层 实现 流量 分 组 (内 网 和 外 网 隔 
离 、 疏 虫 和 非 疏 虫 流量 隔离 )》 、 内 容 缓存 、 请 求 头 过 滤 、 故 障 切换 (机 
房 故 障 切 换 到 其 他 机 房 ) 、 限 流 、 防 火 墙 等 一 些 通用 型 功能 。 


:业务 Nginx， 如 单 品 页 Nginx， 可 以 在 业务 Nginx 实 现 业 务 馆 辑 ， 或 者 反 
问 代 理 到 如 Tomcat， 在 这 一 层 可 以 实现 内 容 压缩 〈 放 在 这 一 层 的 目的 是 
减少 核心 Nginx 的 CPU 压力 ， 将 压力 分 散 到 各 业务 Nginx) 、A/B 测 试 、 
降级 。 即 这 一 层 的 Nginx 跟 业务 有 关联 ， 实 现 业 务 的 一 些 通 用 好 辑 。 


不 官 古 核 心 Nginx 还 是 业务 Nginx， 痢 应 该 是 无 状态 设计 ， 可 以 水 平 扩 
A, 如 下 图 所 示 。 





FP. fin W Nginx 
单 品 页 Tomcat 1 FR. in Ul Tomcat 2 


业务 Nginx 一 般 会 把 请 求 直 接 转发 给 后 端的 业务 应 用 ， 如 Tomcat、 
PHP， 即 将 请 求 内 部 转发 到 相应 的 业务 应 用 。 当 有 的 Tomcat 出 现 问题 
时 ， 可 以 在 这 一 层 摘 掉 。 或 者 有 的 业务 路 径 变 了 在 这 一 层 进 行 重 写 。 
者 有 的 后 端 Tomcat 压 力 太 大 也 可 以 在 这 一 层 降 级 ， 减 少 对 后 端 冲击 。 
者 业务 需要 灰 度 发 布 时 ， 也 可 以 在 这 一 层 Nginx 上 控制 。 


18.2.2 单机 闭环 


所 训 蛙 机 闭环 即 所 有 想 要 的 数据 部 能 从 本 服务 占 中 和 下 接 获 取 ， 在 大 多 数 
时 候 无 须 通 过 网 络 去 其 他 服务 右 获 取 。 


如 下 图 所 示 ， 主 要 有 三 种 应 用 模式 。 
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左边 第 一 幅 疼 的 应 用 场景 是 Nginx 应 用 谁 也 不 人 依赖， 比如， 我们 的 
Cookie 晶 名单 应 用 ， 其 目的 是 不 在 日 名 单 中 的 Cookie 将 被 清理 ， 防 止 大 
家 随便 将 Cookie 写 到 jd.om 根 下 ; 大 家 访问 http://www.jd.com 时 ， 会 看 到 
一 个 http://ccc.jd.com/cookie_check 的 请 求 用 来 清理 Cookie。 对 于 这 种 应 
用 非 钊 和 测 单 ， 不 需要 依赖 数据 源 ， 直 接 单 应 用 闭环 即 可 。 


中 辐 那 幅 的 场景 ， 古 读 取 本 机 文件 系统 ， 如 静态 资源 合并 。 比 如 ， 访 问 
http://item.jd.com/1856584.html， 查 看 源码 会 发 现 (<link type="text/css" 
rel="stylesheet" href="//misc.360buyimg.com/jdf/1.0.0/unit/? ?ui- 
base/1.0.0/ui-base.css,shortcut/2.0.0/shortcut.css, global-header/1.0.0/global- 
header.css,myjd/2.0.0/myjd.css,nav/2.0.0/nav.css,shoppingcart/ 


2.0.0/shoppingcart.css,global-footer/1.0.0/global- 
footer.css,service/1.0.0/service.css"/>) 这 种 请 求 ， 即 多 个 请 求 合 并 为 一 个 
及 给 服务 项 病 ， 服 务 器 端 进 行 了 文件 资源 的 合并 ， 如 下 图 所 示 。 


Http://jd.com/static??a.css,b.css,c.css 





Nginx/Lua Static Merger 
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目前 有 成 熟 的 Nginx 模 块 〈 如 nginx-http-concat) 进行 静态 资源 合并 。 
为 我 们 使 用 了 OpenResty， 上 所 以 我 们 完全 可 以 使 用 Lua 编 写 程 序 实现 该 功 
HE. LEA. GAA AS [f nginx-lua-static-merger 来 实现 这 个 功能 。 


还 有 一 些 业 务 型 应 用 场景 如 下 图 所 示 。 





了 商品 页 面 是 由 商品 框架 和 其 他 维度 的 页 面 片 段 〈 面 包 屑 、 相 天 分 关 、 亲 
家 信息 、 规 格 参 数 、 商 品 详情 ) 组 成 。 或 者 首页 是 由 首页 框架 和 一 些 页 
面 片 段 (43S. HERK, BEER. REN ) 组 成 。 分 维度 是 因为 不 同 的 
维度 是 独立 杰 化 的 。 对 于 这 种 静态 内 容 需 要 进行 框架 内 容 租 入 ，Nginx 
目 市 的 SSI (Server Side Include) 可 以 很 轻松 地 完成 。 也 可 以 使 用 Lua 程 
序 更 灵活 地 完成 《〈 读 取 框 架 、 读 取 页 面 片 段 、 合 并 输出 ) 。 


比如 ， 丙 品 页 面 的 架构 我 们 可 以 像 下 图 这 样 实现 。 
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相关 的 页 面 ， 然 后 推送 到 Nginx 服 务 右 。Nginx 应 用 再 通过 SSI 输 出 。 目 
甫 京东 商品 详情 页 没有 再 采用 这 种 架构 ， 有 具体 架构 可 以 参考 第 16 章 的 内 
Ao 


对 于 自 页 的 染 构 是 类 似 的 ， 因 为 其 特点 框架 变化 少 ， 楼 层 变 化 较 频 
R) 和 个 性 化 的 要 求 ， 楼 层 一 般 实 现 为 异步 加 载 。 


再 来 看 右边 那 幅 图 。 它 与 中 则 那 幅 图 的 不 同 之 处 是 不 再 直接 读 取 文件 系 
统 ， 而 是 读 取 本 机 的 Redis， 或 者 Redis 集 群 ， 或 者 如 SSDB 这 种 持久 化 存 
储 ， 或 者 其 他 存储 系统 也 是 可 以 的 ， 比 如 之 前 说 的 商品 页 面 可 以 使 用 

SSDB 进 行 存 储 实 现 。 文 件 系统 存在 一 个 很 大 的 问题 ， 即 当 有 多 从 服 务 
髓 时 ， 需 要 Worker 去 写 多 人 台 有 服务器， 而 这 个 过 程 可 以 使 用 SSDB 的 主 从 
实现 ， 如 下 图 所 示 。 
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应 用 不 会 是 完全 单机 闭环 的 ， 而 是 会 有 来 用 如 下 页 图 所 示 的 架构 。 
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2. 回 源 到 Web 应 用 
Nginx 应 用 Tomcat 应 用 | 
1. 读本 机 数据 库 /服务 总 线 





数据 库 /服务 总 线 
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印 首 先 恋 本 机 ， 如 朱 没 数据 ， 则 会 回 源 到 相应 的 Web 应 用 ， 从 数据 源 拉 
取 原 始 数 据 进行 处 理 。 这 种 染 构 的 大 部 分 场景 本 机 宛 可 以 命中 数据 ， 只 
有 很 少 一 部 分 情况 会 回 源 到 Web 应 用 。 


如 孙 东 的 实时 价格 /动态 服务 不是 及 用 类 似 染 构 。 
18.2.3 ”分 布 式 闭环 
单机 团 环 会 遇 到 如 下 两 个 主要 问题 : 数据 不 一 致 问题 (比如 ， 没 有 采用 


主 从 架构 导致 不 同 服务 此 数据 不 一 八 ) ; 存储 瓶颈 问题 〈 和 磁盘 或 者 内 存 
i Bl) SAE) o 


解决 数据 不 一 致 的 比较 好 的 办 法 是 采用 主 从 或 者 分 布 式 集中 存储 。 而 过 
到 存储 天 珊 束 需要 进行 按照 业务 键 进行 分 厅 ， 将 数据 分 项 到 多 台 服 务 


für 


如 采用 如 下 页 图 所 示 的 架构 ， 按 照 尾 亏 将 内 容 分 布 到 多 合 服务 益 中 。 
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1、 该 取 JIMDB 华 君 
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第 一 步 先 读 取 分 布 式 存 储 〈JIMDB 是 京东 的 一 个 分 布 式 缓存 /存储 系 

统 ， 类 似 于 Redis) 。 如 果 不 命 中 ， 则 回 源 到 Tomcat 集 群 〈( 其 会 调用 数 
据 库 、 服 务 总 线 获取 相关 数据 〉 来 获取 相关 数据 。 可 以 参考 第 16 草 的 内 
容 来 获取 更 详细 的 架构 实现 。 


JIMDB 集 群 会 进行 多 机 房 主 从 同步 ， 各 目 机 房 谈 取 目 己 机 房 的 从 JIMDB 
集群 ， 如 下 图 所 示 。 
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18.2.4 接 入 网 天 


接 入 网 天 也 可 以 叫做 接 入 层 ， 即 接收 到 流量 的 入 口 ， 在 入 口 我 们 可 以 进 
行 如 下 页 图 所 示 的 操作 。 
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1. 核 心 接 入 Nginx 功 能 


:动态 负载 均衡 : 普通 流量 使 用 一 致 性 哈 和 希 ， 提 升 命 中 率 。 热 点 流量 走 
轮 询 减 少 单 服 务 硕 压力 。 根 据 请 求 特征 将 流量 分 配 到 不 同 分 组 并 限 流 
(GH a ait AIP) 。 动 态 汶 量 〈 动 态 增加 upstream， 或 者 减少 
upstream， 或 者 动态 负载 均衡 ， A) UA H]balancer by lua, RAMA 
源 的 upsync。 


” 防 DDoS 攻 击 限 流 : ”可 以 将 请 求 日 志 推 送 到 实时 计算 集群 ， 然 后 将 需 
要 限 流 的 卫 推 送 到 核心 Nginx 进 行 限 流 。 


- 非法 请 求 过 滤 :” 比 如， 应 访 有 Referer 却 没有 ， 或 者 应 该 带 着 Cookie 却 
没有 Cookie。 


请求 聚合 : ”比如 请 求 的 是 http://c.3.cn/proxy?methods=a,b,c， 核 心 接 入 
Nginx 会 在 服务 端 把 Nginx 的 并 太 请 求 并 把 结果 聚合 然后 一 次 性 吐出 。 


.请求 头 过 滤 : ”有 些 业务 是 不 需要 请 求 头 的 ， 因 此 ， 可 以 在 往 业 务 
Nginx 转 发 时 把 这 些 数 据 过 滤 掉 ， 


绥 存 服务 : 使 用 Nginx Proxy Cache 实 现 内 容 页 面 的 绥 存 。 
2. 业 务 Nginx 功 能 


“ 绥 存 :对 于 读 服 务 会 使 用 大 量 的 绥 存 来 提升 性 能 ， 我 们 在 设计 时 主要 
有 如 下 绥 存 应 用 。 首 乞 ， 旋 取 Nginx 本 地 绥 仓 Shared Dict 或 者 Nginx 
Proxy Cache， 如 果 有 ， 则 直接 返回 内 容 给 用 户 。 如 果 本 地 缓存 不 命中 ， 

则 会 谈 取 分 布 式 缓存 如 Redis， 如 果 有 ， 则 直接 返回 。 如 采 还 是 不 命 

中 ， 则 回 源 到 Tomcat 应 用 读 取 DB 或 调用 服务 获取 数据 。 男 外 ， 我 们 会 

按照 维度 进行 数据 缓存 。 


- WREE: BAT ES es et CU Fa es TDD in 
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AEB i: RRE O REMH OR SEAS R ECM, Ju 
HIRI REL AME o. MRA a m FITIR ERRI RIEAN PE 8 
求 处 理 。lua-resty-limit-traffic 可 LMT EKM E R RERE, "n 


根据 用 户 、 根 据 URL 等 各 种 规则 ， 如 降级 了 是 让 用 户 请 求 等 每 (比如 
sleep 100ms， 这 样 用 户 请 求 束 慢 下 来 了 ， 但 是 服务 还 是 可 用 的 ) 还 是 返 
回 降 级 内 容 。 


PER: PRA ER EIR PEA AH. WR a Re A AST ME 
f, ABBA is BEBE. UWR a vi dE S RARR S E Ja var FEE BP 

J, ABBA i RUE. ERT RORE IER BU» UE FER 
St; 返回 静态 页 ， 如 预先 生成 的 静态 页 ; 对 部 分 用 尸 降 级 ， 告 诉 部 分 用 
Pete PHRF; 下 接 降 级 ， 服 务 没 数 据 ， 比 如 丙 品 页 面 的 规格 参数 不 
展示 ; 只 降级 回 源 服务 ， 即 可 以 读 取 绥 存 的 数据 返回 ， 实 现 部 分 可 用 ， 

但 是 不 会 回 源 处 理 。 


ABIDE RA: 比如 ， 要 上 一 个 新 的 接口 ， 可 以 在 业务 Nginx 通 
过 Lua 写 复 淋 的 业务 规则 实现 不 同 的 人 看 到 不 同 的 版 本 。 


- 服务 质量 监控 : 我们 可 以 记录 请 求 啊 应 时 间 、 绥 人 存 啊 应 时 间 、 友 回 代 
理 服务 啊 应 时 间 来 详细 了 人 解 到 压 哪 块 服务 慢 了 。 为 外 ， 记 录 非 200 状 态 
但 销 误 来 了 解 服务 的 可 用 座 。 


各 东 的 交易 大 Nginx 节 点 、 无 线 部 门 正 在 开发 的 无 线 Nginx 网 关 和 单 品 页 
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18.2.5 Web 应 用 


此 处 所 说 的 Web 应 用 指 的 是 页 面 模板 演 染 类 型 应 用 或 者 API 服 务 类 型 应 
有 用。 比如， 和 泵 东 列 表 页 和 商品 详情 页 就 是 一 个 模板 演 染 类 型 的 应 用 ， 核 
心 业务 逻辑 都 是 使 用 Lua 写 的 ， 部 葡 到 Nginx 容 右 。 目 前 核心 业务 代码 行 
数 有 5000 多 行 ， 柑 板 页 面 有 2000 多 行 ， 涉 及 大 量 的 计算 饮 辑 ， 人 性 能 数据 
可 以 参考 第 16 章 的 内 容 ”。 


如 下 页 儿 所 示 ， 整 体 处 理 过 程 和 普通 Web 应 用 没什么 区 别 。 首 先 ， 接 收 
请 求 并 进行 解析 ; 然后 读 取 JIMDB 集 群 数据 ， 如 果 没 有 ， 则 回 源 到 
Tomcat 获 取 ; 最 后 进行 业务 逻辑 处 理 ， 演 桨 模板 ， 将 啊 应 内 容 返 回 给 用 
a 


核心 接 入 Nginx 





5、 返 回 啊 应 


4 





Tomcat 


18.3 ”如 何 使 用 OpenResty 开 发 Web 应 用 


开发 一 个 Web 应 用 我 们 过 要 从 项 目 捞 建 、 功 能 开发、 项目 部 团 几 个 层面 
JU JA o 


18.3.4. 项 目 搭建 
/export/App/nginx-app 
------- bin( 肢 本 ) 


E start.sh 


——— nginx.conf 

有 domain 

— nginx product.conf 
——— resources.properties 
— lua( 业 务 代码 ) 

= init.lua 

pose eee eee product_controller.lua 
"€ template(T5 f.) 

— prodoct.html 


EEA lualib( 公 共 Lua 库 ) 


— — product. util.lua 


—— eee product  data.lua 


m" template.lua 
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儿 块 进行 划分 。 


18.3.2 ”局 停 脚本 


局 停 脚 本 放 在 项 目 目 录 /export/App/nginx-app/bin/ 下 。 


start.sh 是 局 动 和 更 新 脚本 ， 即 如 果 Nginx 没 有 局 动 ， 则 局 动 起 来 ， 人 否则 
重新 加 载 。 


sudo /export/servers/nginx/sbin/nginx -t -c /export/App/nginx-app/ 
config/ nginx. cont 
sudo /export/servers/nginx/sbin/nginx -c /export/App/nginx-app/ 
config/nginx.conf 

else 
sudo /export/servers/nginx/sbin/nginx -t 
sudo /export/servers/nginx/sbin/nginx -s reload 

end 


stop.Sh 是 停止 Nginx 的 脚本 。 
sudo /export/servers/nginx/sbin/nginx  -s quit 
18.3.3 ”配置 文件 


配置 文件 放 在 /export/App/nginx-app/config 目 录 下 ， 包 括 nginx.conf 配 置 
文件 、Nginx 项 目 配置 文件 和 资源 配置 文件 。 


18.3.4 Nginx.conf 配 置 文件 


worker processes 1; 


events { 
worker connections 1024; 
} 
HECO 4 
include mime.types; 
default type text/html; 
#gzip FAK 
# 超 时 时 间 
# 日志 格式 
# 友 回 代 理 配 置 


#Lua (RAPE 
lua package path "/export/App/nginxapp/lualib/?.lua;;"; 
lua package cpath  "/export/App/nginzx-app/lualib/?.so;;"; 


server 配置 
include /export/App/nginx-app/config/domains/*; 


# 人 初始 化 脚本 
init by lua file "/export/App/nginx-app/lua/init.lua"; 
} 


对 于 nginx.conf 会 进行 一 些 通 用 的 配置 ， 如 工作 进程 数 、 超 时 时 间 、 压 
缩 、 日 志 格 式 、 反 同人 代理 等 相 头 配置。 另外， 需要 指定 如 下 配置 。 


: Jua package path、lua_package_cpath: 指定 我 们 依赖 的 通用 Lua 床 
从 哪里 加 载 。 


: include /export/App/nginx-app/config/domains/*: 用 于 加 载 Server 相 关 
配置 ， 此 处 通过 * 可 以 在 一 个 Nginx 下 指定 多 个 Server 配 置 。 


-jinit by lua file "/export/App/nginx-app/lua/init.lua": ”执行 项 目的 一 
些 初始 化 配置 ， 比 如 加 载 配置 文件 。 


18.3.5 ”Nginx 项 目 配 置 文件 


/export/App/nginx-app/config/domains/nginx_product.conf 用 于 配置 当前 
Web 应 用 的 一 些 Server 相 关 配 置 。 


#upstream 

upstream item http upstream { 
server 192.168.1.1 max fails=2 fail timeout=30s weights5; 
server 192.168.1.2 max falls-2 fail timeout=30s weight=5; 


HAT 
lua shared dict item local shop cache 600m; 
server { 
listen 80; 
server name item.jd.comtem.jd.hk; 
# 模 板 文件 从 哪 加 载 
set Stemplate root "/export/App/nginx-app/template "; 
#URL 映射 
Location ~* 7s/prodngt/ (yd) iiem 1 


rewrite /product/(.*) http://item.jd.com/$1 permanent; 
} 
location =% "*^7í(Xdi6,121)X.html$" ( 
default type text/html; 
charset gbk; 
lua code cache on; 
content by lus ILLE 
"/export/App/nginx-app/lua/product controller.lua"; 
} 
} 


我 们 需要 指定 如 upstream、 共 孚 字典 配置 、S$erver 配 置 、 柑 板 文件 从 哪 
加 载 、 URL 映 射 ， 比 如 我 们 访问 http://item.jd.com/1856584.html 将 交 

给 /export/App/nginx-app/lua/ product_controller.lua 来 处 理 ， 也 如 是 说 我 们 
项 目的 入 口 束 有 了 。 


资源 配置 文件 resources.properties 包 含 了 我 们 的 一 些 比如 开关 的 配置 、 绥 
存 服务 旧地 址 的 配置 等 。 


18.3.6 ”业务 代码 


/export/App/nginx-app/lua/ 目 录 里 存放 了 我 们 的 Lua 业 务 代码 ，init.lua 用 
于 读 取 如 resources.properties 来 进行 一 些 项 目 初 始 化 。 
product_controller.lua 可 以 看 成 Java Web 中 的 Servlet， 用 来 接收 、 处 理 、 
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18.3.7 ”模板 


模板 文件 放 在 / export/App/nginx-app/template/ 目录 下 ， 使 用 相应 的 模板 引 
党 进行 编写 页 和 面 模板 ， 然 后 演 染 输出 。 


18.3.8 ”公共 Lua 库 


存放 了 一 些 如 Redis、Template 等 相关 的 公共 Lua 库 ， 还 有 一 些 我 们 项 目 
中 通用 的 工具 库 如 product_util.lua。 


全 此 一 个 简单 的 项 目 结构 束 介 绍 完了 ， 对 于 开 色 一 个 项 目 来 说 ， 还 会 水 


及 分 蛋 块 等 工作 ， 不 过 ， 对 于 我 们 这 种 Lua 应 用 来 说 ， 建 议 不 要 过 度 抽 
象 ， 尺 量 小 巧 即 可 。 


18.3.9 ”功能 开发 
接 下 来 ， 就 需要 使 用 相应 的 API 来 实现 我 们 的 业务 了 ， 比 如 


product controller.lua. 

-- JI zi; Lua Bs EA. e 

local template = require("resty.template") 

--1 UB KE BCP BST TH] RID 

local skuld = ngx.req.get uri args()| skulId" |; 
--2. 调 用 相应 的 服务 获取 数据 

local data = api.getData(skuld) 

--3. 演 染 模板 

local func = template.compile("product.html") 


local content = func(data) 


--4. 通 过 ngx API 输 出 内 容 
ngx.say(content) 


开发 完成 后 将 项 目 部 闭 到 测试 环境 ， 执 行 start.sh 司 动 Nginx， 然 后 进行 
测试 。 话 细 的 开发 过 程 和 API 的 使 用 ， 请 参考 《 跟 我 学 

OpenResty (Nginx+Lua)〉 开 发 》， 此 处 不 做 具体 编码 实现 。 石 要 参考 源 
fis V; [A] https://github.com/zhangkaitao/openrestyhelloworld. 
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BI PERT DY T Nginx It ROA A f — T SEHR, Tf£Nginx$l Lua H 
RMH n] EA ze A EE RT EAE AT MR AS Sy RUE DAR. & In] 
题 ， 可 以 开发 Web 应 用 、 接 入 网 天、API 网 关 、 消 息 推 送 、 日 将 采 集 等 
应 用 ， 不 过 ， 个 人 认为 适合 开 及 业务 岂 辑 单一 、 核 心 代 但 行 数 较 少 的 应 
用 ， 不 适合 业务 泌 辑 复杂 、 功 能 索 多 的 业务 型 或 者 企业 级 应 用 。 了 最 后 我 
f] 25— Pak T Nginx*Lualf] i$ H] AS RRA — ES i WW, SZ AIR 
包括 : 动态 负载 均衡 、 防 火 增 (DDoS, IP/URL/UserA gent/RefererS Z 
单 、 防 盗 链 等 ) 、 限 流 、 降 级 、A/B 测 试 和 灰 度 及 布 、 多 级 缓存 模式 、 
服务 器 端 请 求 聚 合 、 服 务 质量 监 控 。 


18.5 一 些 问 题 
在 开发 Nginx 应 用 时 ， 使 用 UTF-8 编 码 可 以 减少 很 多 打 烦 。 
. GBK 转 码 解码 时 ， 应 使 用 GB18030， 否 则 一 些 特殊 字符 会 出 现 乱 码 。 


cjson 库 对 于 像 uab1 这 种 错误 的 unicode 转 码 会 失败 ， 可 以 使 用 纯 Lua 编 
写 的 dkjson。 


社区 版 Nginx 不 文 持 upstream 的 域名 动态 解析 ， 可 以 考虑 proxy_pass 
(http://p.3.local/prices/mgets$is_args$args) ， 然 后 配合 resolver 来 实现 。 

或 者 在 Lua 中 进行 HTTP 调 用 。 如 果 DNS 遇 到 性 能 瓶颈 ， 则 可 以 考虑 在 本 
机 部 和 普 如 dnsmasq 来 绥 存 ， 或 者 考虑 使 用 balancer_by_lua 功 能 实现 动态 


upstream. 
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- 根据 业务 设置 合理 的 超时 时 间 。 


运行 CDN 的 业务 ， 当 发 生 错 误 时 ， 不 要 给 返回 的 500/503/302/301 等 非 
下 第 啊 应 设置 绥 存 。 


19 应 用 数据 静态 化 架构 高 性 能 单 页 
Web H 


在 电 丙 网 站 中 ， 单 页 Web 是 非常 常见 的 一 种 形式 ， 比 如 首页 、 频 道 页 、 

广告 页 等 都 属于 单 页 应 用 。 而 这 种 页 面 是 由 模板 + 数据 组 成 的 。 传 统 的 
构建 方式 一 般 通 过 静态 化 实现 ， 但 这 种 方式 的 灵活 性 并 不 是 很 好 ， 比 

如 ， 页 面 模板 部 分 变更 了 需要 重新 全 部 生成 。 因 此 ， 最 好 能 有 一 种 实现 
方式 是 可 以 实时 动态 演 染 的 ， 以 文 持 模 板 的 多 变性 。 另 外 也 要 考虑 好 如 
下 几 个 问题 。 

动态 化 模板 演 染 支持 。 

数据 和 模板 的 多 版 本 化 : 生产 版 本 、 灰 度 版 本 和 预 发 布 版 本 。 


”有 版 本 回 滚 问题， 假设 当前 发 布 的 生产 版 本 出 问题 了， 如 何 快 速 回 深 到 
上 一 个 版 本 。 


异常 问题 ， 假 设 泻 染 模板 上 时， 过 到 了 异常 情况 (比如 获取 Redis 出 问题 
J) ， 该 如何 处 理 。 


. 灰 度 发 布 问题 ， 比 如 切 20% 量 给 灰 度 版 本 。 

. 预 发 布 问 题 ， 目 的 是 在 正式 环境 测试 数据 和 模板 的 正确 性 。 
19.1 整体 染 构 

静态 化 页 面 的 方案 如 下 图 所 示 。 


184, IDB. LA 192.168.1.1 






CMS 系统 


和 卫 接 将 生成 的 议 态 页 推 运 到 相关 服务 硕 上 即 可 。 使 用 这 种 方式 要 考虑 文 
ER nU T 
) s» 


而 动态 化 方案 的 整体 架构 如 下 图 所 示 ， 分 为 三 大 系统 : CMS 系统 、 控 制 
系统 和 前 姗 展示 系统 。 


接 入 层 Nginx 


192.168.1.1 192.168.1.2 


控制 系统 pee 控制 版 本 前 端 展示 系统 前 端 展示 系统 
Nginx Nginx 


| 
1. 读 从 


| 发 布 数 据 存储 


存储 元 数据 


元 数据 存储 
MySQL 


19.1.1 CMS 系 统 
在 CMS 系统 可 以 配置 页 面 的 模板 和 数据 。 
模板 动态 在 CMS 系统 中 维护 ， 即 模板 不 是 一 个 静态 文件 ， 而 是 存储 在 





CMS 中 的 一 条 数据 ， 最 终 友 布 到 “ 友 布 数据 存储 Redis” 中 ， 前 剖 展 示 系 
统 从 Redis 中 获取 该 模板 进行 泻 染 ， 从 而 前 并 展 示 系 统 更 换 了 模板 也 不 
项 要 章 局 ， 纯 动态 维护 模板 数据 。 


.原始 数据 存储 到 “元 数据 存储 MySQL” 中 即 可 ， 比 如 ， 频 道 页 一 般 需要 
前 剖 访 问 的 URL、 分 类 、 轮 揪 图 、 了 两 品 楼 层 数 据 每 。 这 些 数据 按照 相应 
的 维度 存储 在 CMS 系统 中 。 


提供 发 布 到 “发 布 数 据 存储 Redis” 的 控制 ， 将 CMS 系统 中 的 原始 数据 和 
模板 数据 组 装 成 聚合 数据 (JSON 存 储 ) 同步 到 “发 布 数据 存储 Redis”， 
以 便 前 端 展示 系统 获取 进行 展示 。 此 处 提供 三 个 发 布 按钮 : 正式 版 本 、 
灰 度 版 本 和 预 发 布 版 本 。 


日前 存在 如 下 几 个 问题 。 


”用 户 如 访问 http://channel.jd.com/fashion.html， 怎 么 定位 到 对 应 的 聚合 
数据 呢 ? 我 们 可 以 在 CMS 元 数据 中 定义 URL 作 为 key， 如 条 没 有 URL， 
则 使 用 ID 作为 key， 或 者 目 动 生 成 一 个 URL。 


多 版 本 如 何 存储 昵 ? 使 用 Redis 的 Hash 结 构 存 储 即 可 ，key 为 URL (tk 
如 http:/channel.jd.comyfashion.html) ， 字 段 按照 维度 存储 : 正式 版 本 使 
用 当前 时 间 玲 存储 〈 这 样 前 靖 系 统 可 以 根据 时 间 惟 排序 ， 然 后 获取 了 最 新 
版 本 ) 、 预 发 布 版 本 使 用 “predeploy” 作 为 字段 ， 灰 度 版 本 使 
用 “abVersion” 作 为 字段 即 可 ， 这 样 束 区 分 开 了 多 版 本 。 


: 灰 度 版 本 如 何 控制 呢 ? 可 以 通过 控制 系统 的 开关 来 控制 如 何 灰 度 。 
如何 访 问 预 及 布 版 本 呢 ? 比如 ， 在 URL 参 数 中 种 加 上 predeploy=true， 


另外 ， 可 以 限定 只 有 内 网 可 以 访问 或 者 访问 时 加 上 访问 密码 ， 比 如 
pwd-absdfedwqdqw. 


.如何 处 理 模 板 变 更 的 历史 数据 校 验 问题 ? 比如 模板 变更 了 ， 但 是 ， 使 
用 历史 数据 演 染 该 模板 会 出 现 问 题 ， 即 模板 要 若 容 历 史 数 据 的 。 此 处 的 
方案 不 存在 这 个 问题 ， 因 为 每 次 存储 时 是 当时 的 模板 快照 ， 即 数据 快照 
和 模板 快照 推送 到 “用 布 数据 存储 Redis” 中 。 


19.1.2 前端 展 示 系 统 


E fit FJURL E key BH 7c MAILS At CDS TT Redis” 5 HX 
数据 。 


如 末 没 有 数据 或 者 开 帅 ， 则 从 主 “ 肥 布 数据 仔 储 Redis” 获 取 。 


如果 主 “发 布 数据 存储 Redis” 也 发 生 了 异常 ， 那 么 会 直接 调用 CMS 系 统 
其 圳 的 API， 直 接 从 元 数据 存储 MySQL 中 获取 数据 进行 处 理 。 


展示 系统 的 伪 代 但 

--1. 加 载 Lua 模 块 库 

local template = require("resty.template") 
template.load = function(s) return s end 
--2.5]] x 3k HUBS 

local myTemplate = "«html^1* title *}</html>" 
--3. 动 态 获 取 数 据 

local data = {title = "iphone6s"j 
--4. 演 染 模 板 

local func = template.compile(myTemplate) 
local content = func(data) 

--5. 通 过 ngx API 输 出 内 容 
ngx.say(content) 


即 人 模板 和 数据 都 是 动态 获取 的 ， 然 后 使 用 动态 获取 的 模板 和 数据 进行 渔 


A. 


TE Ut Epc TT AAS BI AS TE A UE A D? 可 以 从 流程 上 避 倪 这 个 问 
题 : HWT MERRER, MAA n wE HA, RERNE 


版 本 ; 在 灰 度 时 目 动 去 反 CDN 功 能 〈 即 不 设置 页 面 的 缓存 时 间 ) . At 
验证 没 问题 后 ， 友 布 正 式 版 本 即 可 ; 正式 版 本 友 布 的 5 分 钟 内 十 个 设置 
页 面 级 存 的 ， 这 样 束 可 以 防止 友 版 时 直到 问题 ， 但 是 ， 问 题 版 本 已 经 在 


CDN 上 给 全 部 用 户 造 成 问题 了 。 当 然 这 个 沉 程 很 麻烦 ， 可 以 撤 照 目 己 的 
场景 进行 简化 。 


19.1.3 ”控制 系统 


OE Neat ae ees NEM 
实现 。 


:有 版 本 降级 : 假设 当前 线 上 的 版 本 起 到 问题 ， 想 要 快速 切换 回 上 一 个 版 
本 ， 可 以 使 用 控制 系统 实现 ， 选 中 其 中 一 个 历史 有 版本， 然后 通知 给 前 闹 
展示 系统 即 可 ， 使 用 URL 和 当前 版 本 的 字段 即 可 ， 这 样 前 端 展 示 系 统 束 
可 以 目 劲 切换 到 选中 的 那个 版 本 。 当 问题 修复 后 ， 再 删除 该 降级 配置 ， 
印 切换 回 最 新 成 本 。 


IKE BAR : 在 控制 系统 中 控制 哪些 URL 需 要 灰 度 发 布 ， 以 及 灰 度 发 布 
的 比例 ， 同 版 本 降级 闫 似 将 相关 的 数据 推 达 到 前 病 展 示 系 统 ， 当 不 力克 
ZRT, MERIR ZAIE Na 。 


19.2 ”数据 和 模板 动态 化 


我 们 将 数据 和 模板 都 进行 动态 化 存储 ， 这 样 可 以 在 CMS 进行 数据 和 模板 
的 变更 。 实 现 前 哨 和 后 咒 开 友人 员 的 分 离 。 前 病 开 及 人 员 进 行 CMS 数据 
配置 和 模板 开 友 ， 而 后 帝 开 友人 员 只 进行 系统 维护 。 帮 外， 因为 模板 的 
动态 化 存储 ， 每 钦 友 布 新 的 模板 不 需要 音 局 前 问 展 示 系 统 ， 后 痢 开 友人 
员 更 好 地 得 到 了 解放 。 


模板 和 数据 可 以 是 一 对 多 的 天 系 ， 即 一 个 模板 可 以 被 多 个 数据 使 用 。 当 
模板 友 生 变更 后 ， 我 们 可 以 批量 推送 柑 板 关联 的 数据 。 自 完 ， 进 行 预 友 
布 版 本 的 发 布 ， 测 试 人 员 进 行 验证 ， 验 证 没 问 题 即 可 发 布 正 式 版 本 。 


19.3 多 版 本 机 制 


我 们 将 数据 和 模板 分 为 多 版 本 后 可 以 实现 如 下 几 操 。 


. 预 发 布 版 本 : 更 容易 让 测试 人 员 在 实际 环境 中 进行 验证 。 
. 灰 度 版 本 : 只 需要 简单 的 开关 控制 ， 就 可 以 进行 A/B 测 试 。 


正式 版 本 : 存储 多 个 历史 正式 版 本 ， 假 设 最 新 的 正式 版 本 出 现 问 题 ， 
可 以 非常 快速 地 切换 回 之 前 的 版 本 。 


19.4 ”异常 问题 
"S HJ Lf E S UH P. 


:本 机 从 “及 布 数据 存储 Redis” 和 主 “ 友 布 数据 存储 Redis” 都 不 能 用 了 ， 那 
么 ， 可 以 直接 调用 CMS 系统 骏 露 的 HITP 服 务 ， 直 接 从 元 数据 存储 
MySQL3X RAGE o 


- 数据 和 模板 获取 到 了 ， 但 是 痊 染 模板 出 错 了 ， 比 如 过 到 500、503。 解 
决 方案 是 使 用 上 一 个 版 本 的 数据 进行 演 染 。 


” 数据 和 模板 部 没 问 题 ， 但 是 因为 一 些 玩 忽 ， 痊 染 出 来 的 页 面 错 乱 了 ， 
或 者 有 些 区 域 出 现 了 空 日 。 对 于 这 种 问题 没有 很 好 的 解决 方 条 。 可 以 根 
fe OWN ae Cae ene, AAAA RR aK 
人 员 ， 并 目 动 降级 到 上 一 个 版 本 。 


20 ”使 用 OpenResty 开 发 Web 服 务 


本 文 所 说 的 HITP 服 务 主要 指 如 访问 和 率 和 东 网 站 时 我 们 看 到 的 热门 搜索 、 
用 户 登 录 、 实 时 价格 、 实 时 库存 、 服 务 支持 、 广 告 语 等 这 种 非 Web 页 
面 ， 这 些 是 在 如 了 商品 详情 页 中 异步 加 载 的 相关 数据 ， 它 们 有 个 特点 一 一 
访问 量 巨 大 、 逻 辑 比较 单一 。 但 是 ， 实 时 库存 逻辑 其 实 是 非常 复杂 的 。 
在 京东 这 些 服 务 每 天 有 几 亿 、 十 几 亿 的 访问 量 。 比 如 ， 实 时 库存 服务 曾 
经 在 没有 任何 IP 限 流 、DDoS 防 御 的 情况 被 刷 到 600 多 万 /分 钟 的 访问 量 ， 
仍然 能 轻松 应 对 。 支 撑 如 此 大 的 访问 量 ， 束 需要 考虑 设计 民 好 的 架构 ， 
并 人 确保 很 容易 实现 水 平 扩 展 。 


20.1 ”架构 


此 处 介绍 一 下 笔者 曾 使 用 过 的 OpenResty+JavaEE 技 术 染 构 。 
20.2 单 DB 架 构 









CD fà $2 0 I Sg Tomcat 







IG Sj Tomcat 


避让 DB 


Mysal 


早期 架构 可 能 就 是 Nginx 直 接 upstream 请 求 到 后 端 Tomcat， 扩 容 时 基本 
是 增加 新 的 Tomcat 实 例 ， 然 后 通过 Nginx 负 载 均 衡 upstream 过 去 ， 此 时 
RIDA ehh. Sie P| ERA, ARENA ERS, UE 
IT E Zab St Se BAS a is ee A EST AME, n] Da ah Se Fe A EIS 2] ES BZ 
存 来 应 对 。 


20.2.1 DB+Cache/ 数 据 库 读 写 分 离 架 构 









Jig Tomcat 
$ 





ere 如 数据 库 读 写 分 离 或 者 Redis 这 种 缓存 来 支撑 更 大 的 访 M 
。 使 用 绥 存 这 种 架构 会 遇 到 的 问题 ， 包 括 绥 存 与 数据 库 数据 不 同步 


成 数据 不 一 致 〈 一 般 设 置 过 期 时 间 ) ， 或 者 Redis 不 可 用 时 下 接 命中 数 
据 库 导致 数据 库 压 力 过 大 。 可 以 和 元 虑 Redis 的 主 从 或 者 用 一 任性 哈 布 算 
法 做 分 瞩 的 Redis 集 群 。 使 用 缓存 这 种 架构 ， 要 求 应 用 对 数据 一 致 性 的 
了 要求 不 是 很 局 。 比 如 ， 像 下 订单 这 种 要 落地 的 数据 ， 则 不 适合 用 Redis 
人 存储， 但 是 ， 订 单 的 恋 取 可 以 使 用 组 仓 。 


20.2.2 OpenResty+Local Redis- MySQL 集群 架构 


DERIT Dit RAT OU HT 


2) 回 源 到 Tomcat 


Le d o i i i i 后 端 Tomcat 集 群 


[9 这 DB 


如 上 图 所 示 ，OpenResty 首 先 通 过 Lua 读 取 本 机 Redis 绥 存 ， 如 果 不 命 

中 ， 则 回 源 到 后 病 Tomcat 集 群 。 后 问 Tomcat 集 群 再 读 取 MySQL 数 据 

库 。Redis 都 是 安装 到 和 OpenResty 同 一 侣 服务 右上 ，OpenResty 直 接 旋 本 
机 可 以 减少 网 络 延 时 。Redis 通 过 主 从 方式 同步 数据 ，Redis 主 从 一 般 采 
用 树 的 方式 实现 。 





Redis1 


NM NEC 
Redis1 | Redis1 


如 上 图 所 示 ， 在 叶子 节点 可 以 做 AOF 持 久 化 ， 保 证 在 主 Redis 不 可 用 时 
能 进行 恢复 。 如 对 Redis 很 依赖 ， 可 以 考虑 多 主 Redis 架 构 ， 而 不 是 单 
主 ， 来 防止 单 主 不 可 用 时 数据 的 不 一 致 和 击 罕 到 后 妆 Tomcat 集 群 。 这 种 
架构 的 缺点 束 是 要 求 Redis 实 例 数据 量 较 小 ， 如 果 单 机 内 存 不 足 ， 那 么 
也 可 以 通过 如 尾 号 为 1 的 在 A 服务 器 、 尾 号 为 2 的 在 B 服 务 器 这 种 方式 实 
现 。 缺 点 也 很 明显 ， 运 维 复 杂 、 扩 展 性 差 。 


20.2.3 ”OpenResty+Redis 集 群 +MySQL 集群 架构 


Nginx . Nginx | Nginx | 














SSBSSHESSS ESS FS SSSSSSCSesSs SCS BbLsee qui. FSFE 3458 Qo P SMES 8B 8 89549 ^ 5E 5843 AO RRAa "4." ^5.a^*bra?g^*bra*- sa.» 





wW EARN, 5 BARAJAS RIA. JCI 3x4 NEH CEG ip ESE 
Redis 集 群 ， 而 不 是 读本 机 Redis， 保 证 其 中 一 台 不 可 用 时 ， 只 有 很 少 的 
数据 会 丢失， 防止 击 罕 到 数据 库 。Redis 集 群 分 片 可 以 使 用 Twemproxy。 
如 果 Tomcat 实 例 很 多 的 话 ， 束 要 考虑 Redis 和 MySQL 链 接 数 问题 ， 因 为 
大 部 分 Redis 人 MySQL 客 户 端 都 是 通过 连接 池 实 现 ， 此 时 的 链接 数 会 成 为 
短信 。 一 般 方 法 是 通过 中 间 件 来 减少 链接 数 。 





Twemproxy 





如 上 图 所 示 ，Twemproxy 与 Redis 之 间 通 过 单 链 接 交 互 ， 并 通过 
Twemproxy 实 现 分 请 逻辑 。 这 样 我 们 可 以 水 平 扩展 更 多 的 Twemproxy 来 
增加 链接 数 。 

此 时 的 问题 瓯 是 Twemproxy 实 例 众 多 ， 应 用 维护 、 配 置 困难 ， 需 要 在 这 
之 上 做 负载 均衡 ， 比 如 ， 通 过 LVS/HaProxy 实 现 VIP〈 虚 拟 IP) ， 可 以 
做 到 切换 对 应 用 透明 、 故 障 目 动 转移 。 还 可 以 通过 实现 内 网 DNS 来 做 其 


负载 均衡 。 
LVS+HAProxy 
Twemproxy Twemproxy 


On EARN, KALRA WK Nginx Læ uA, Nginx, Redis, 
MySQL 等 的 负载 均衡 、 资 源 的 CDN 化 不 是 本 章 关 注 的 重点 ， 有 兴趣 请 
合并 相关 资料 。 

20.3 ”实现 


接 下 来 ， 我 们 来 搭建 一 下 第 四 种 架构 ， 如 下 图 所 示 。 


DERT | 名 负载 到 后 端 Tomcat 


四 更 新 缓存 
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: DEDE 
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假设 系 东 有 10 亿 件 商品 ， 那 么 广告 词 极 限 情况 是 10 亿 个 ， 所 以 在 设计 时 
束 要 考虑 以 下 内 容 。 


- 数据 量 一 一 数据 更 新 是 否 频 繁 日 更 新 量 是 人 耕 很 大 。 

: 是 K-V 还 是 关系， 是 否 需 要 批量 获取 ， 是 否 需 要 按照 规则 查询 。 

而 对 于 本 例 ， 广 告 词 更 新 量 不 会 很 大 ， 每 分 钟 可 能 在 几 万 个 左右 。 而 且 
是 K-V 的 ， 其 实 适 合 使 用 关系 存储 。 因 为 广告 词 是 商家 在 维护 ， 因 此 后 
台 碍 询 需 要 知道 这 些 商 品 是 哪个 商家 的 。 而 前 人 台 是 不 关心 商家 的 ， 是 
KV 存 储 ， 所 以 前 台 显 示 可 以 放 进 如 Redis 中 ， 即 存在 两 种 设计 。 

: 所 有 数据 存储 到 MySQL， 然 后 热点 数据 加 载 到 Redis。 

` 关系 存储 到 MySQL， 而 数据 存储 到 如 SSDB 这 种 持久 化 KV 存储 中 。 


基本 数据 结构 包括 商品 ID、 广 告 词 、 所 属 疝 家 、 开 始 时 间 、 结 来 时 间 、 


按照 商家 分 页 查询 商家 数据 ， 此 处 要 按照 商品 关键 词 或 商品 类 目 租 询 
的 话 ， 需 要 走 商 品系 统 的 搜索 子 系统 ， 如 通过 S$olr 或 ElasticSearch 实 现 搜 
ALAR. 


ET) mra mp. 
增删 改 时 可 以 直接 更 新 Redis 绥 存 或 者 只 删除 Redis 绥 存 〈 第 一 次 六 人 台 答 
WN SARE) 。 


20.3.2 Hj trig 48 


1. 首 先 Nginx 通 过 Lua 奏 询 Redis 绥 存 。 


2. 查 询 不 到 的 话 回 源 到 Tomcat，Tomcat 读 取 数 据 库 查 询 到 数据 ， 然 后 把 
最 新 的 数据 异步 写 入 Redis〈 一 般 设 置 过 期 时 间 ， 如 5min) 。 此 处 设计 
时 要 考虑 Tomcat 谈 取 MySQL 的 极限 值 是 多 少 ， 然 后 设计 降级 开关 ， 如 
假设 每 秒 回 源 达 到 100， 则 直接 不 查询 MySQL 而 返回 空 的 广告 词 来 防止 
Tomcat). H 23 Jj - 


HIWA, RIIAI IB BWP Sea, RR miit SEEM, HGB 
据 结 构 我 们 简化 为 [商品 ID、 广 告 词 ]。 另 外 有 旋 者 可 能 看 到 ， 可 以 直接 
把 Tomcat 部 分 干 择 ， 通 过 Lua 和 直接 谈 取 MySQL 进 行 回 源 实 现 。 为 了 完整 
性 ， 此 处 我 们 还 是 做 回 源 到 Tomcat 的 设计 ， 因 为 如 果 逻 辑 比 较 复 杂 的 话 
会 有 一 些 限制 《比如 使 用 Java 特 有 协议 的 RPC) ， 还 是 通过 Java 去 实现 
时 方便 一 些 。 


20.3.3 MARE 
项 目 部 署 目录 结构 。 


/usr/chapter6 
redis 6660.conf 
redis 6661.conf 
nginx chapter6.conf 
nutcracker.yml 
nutcracker.init 
webapp 

WEB-INF 
lip 
classes 
web.xml 


20.3.4 Redis+Twemproxy 配 置 


根据 实际 情况 来 决定 Redis 大 小 ， 此 处 我 们 已 经 有 两 个 Redis 实 例 
(6660. 6661) ， 在 Twemproxy 上 通过 一 致 性 哈 希 做 分 片 风 辑 。 


1. 安 装 

请 参考 《 跟 我 学 OpenResty (Nginx+Lua) 开发》 中 第 3 章 的 内 容 。 
2.Redis 配 置 redis 6660.conf 和 redis 6661.conf 

# 分 别 为 6660 6661 

port 6660 

# 进 程 ID 分 别 改 为 redis_6660.pid redis 6661.pid 

pidfile "/var/run/redis 6660.pid" 

ELEME, RISE PTL, AMAA i 20MB 
maxmemory 20mb 

# 内 存 不 足 时 ， 按 照 过 期 时 间 进 行 LRU 删 除 


maxmemory-policy volatile-lru 


#Redis 的 过 期 算法 不 是 精确 的 而 是 通过 采样 来 算 的 ， 默 认 采 样 为 3 个 ， 
此 处 我 们 改 成 10 


maxmemory-samples 10 


# 不 进行 RDB 持 久 化 


TTT 


save 
# 不 进行 AOF 持 久 化 
appendonly no 


将 如 上 配置 放 到 redis 6660.conf 和 redis 6661.conf 配 置 文件 最 后 即 可 ， 后 
边 的 配置 会 履 兰 前 边 的 。 


3. Twemproxy ft £i nutcracker.yml 


serverl: 
listens 227,0.0,.10121111 
hash: fnvla 604 
distribution: ketama 
redis: true 
timeout: 1000 
servers: 
= 127,0:0.1:536660:1 serverl 
- 127.0.0.1:6661:1 server2 


复制 nutcracker.init 到 /usr/chapter6 下 ， 并 修改 配置 文件 
为 /usr/chapter6/nutcracker.yml。 


4. 启 动 


nohup /usr/servers/redis-2.8.19/redis-server /usr/chapter6/redis 6660.conf & 
nohup /usr/servers/redis-2.8.19/redis-server /usr/chapter6/redis 6661.conf & 
/usr/chapter6/nutcracker.init start 


ps -aux | grep -e redis -e nutcracker 


20.3.5 MySQL Atlas E 


Atlas 类 似 于 Twemproxy， 是 Qihoo ”360 基 于 MySQL ”Proxy 开 发 的 一 个 
MySQL 中 间 件 ， 据 称 每 天 承载 读 与 请 求 数 运 儿 十 亿 ， 可 以 实现 分 库 
(sharding 版 本 〉 、 分 表 、 读 写 分 离 、 数 据 库 连接 池 等 功能 ， 缺 点 是 没 
有 实现 器 库 分 表 CAFFE) AE meZ mE. HN 
择 十 使 用 如 阿里 的 TDDL， CEEA MKWE. PREFETA 
Fm Xe Xe TE Hn EFIR di SE b TH AREE e 
此 处 我 们 不 做 MySQL 的 主 从 复制 (证 写 分 离 )， 只 做 分 库 分 表 实 现 。 
1.MySQL 初 始 化 
为 了 测试 我 们 此 处 分 两 个 表 (N=0/1) 。 

CREATE DATABASE chapter6 DEFAULT CHARACTER SET utf8; 

use chapter6; 

CREATE TABLE chapter6.ad N( 

sku id BIGINT, 


content VARCHAR(4000) 
) ENGINE=InnoDB DEFAULT CHARSET-utf8; 


2. Atlas Z 2% 


cd /usr/servers/ 

wget https://github.com/Qihoo360/Atlas/archive/2.2.1.tar.gz -O Atlas -2.2. 
l,tar .g2 

Lar -gyi ALlas-2.42,1l.tarT.ugz 

cd Atlas-2.2.1/ 

#Atlas 依赖 mysql config, AX, MARTU ZI ACE 
apt-get install libmysqlclient-dev 

FS Lua 依赖 
wget http://www.lua.org/ftp/lua-5.1.5.tar.gz 

Lar -7i ln8-3.1.5,.tàr.97 

cd lua-5.1.5/ 
make linux && make install 

# 安 装 glib 依赖 

apt-get install libglib2.0-dev 

安装 libevent 依赖 

apt- q install libevent 

FS flex 依赖 

apt-get install flex 

Hz jemalloc 依赖 

apt-get install libjemalloc-dev 

# 安 装 OpenSSL 依赖 

apt-get install openssl 

apt-get install libssl-dev 

apt-get install libssl0.9.8 


./configure --with-mysql-/usr/bin/mysql config 


./bootstrap.sh 
make && make install 


3. Atlas Ei 

vim /usr/local/mysql-proxy/conf/chapter6.cnf 
[mysql-proxy | 

#Atlas 代 理 的 主 库 ， 多 个 之 间 喜 号 分 隅 
proxy-backend-addresses = 127.0.0.1:3306 


ZAtdasfV XE HAE, e^. He xXdp:portaweight, XXE SA 


zu 


为 1 

#proxy-read-only-backend-addresses = 127.0.0.1:3306,127.0.0.1:3306 
&H]P drm, wg H /usr/servers/Atlas-2.2.1/script/encrypt 1234567125 
pwds = root:/iZxz+tOGRoA= 

AJ Yin JE PE ISS 1T 

daemon = true 

# 开 启 monitor 进 程 ， 当 worker 进 程 挂 了 上 自动 重启 

keepalive = true 

# 工 作 线程 数 ， 对 Atas 的 性 能 有 很 大 影响 ， 可 根据 情况 适当 设置 
event-threads = 64 

# 日 志 级 别 

log-level = message 

# 日 志和 存放 有 的 路 径 

log-path = /usr/chapter6/ 

# 实 例 名 称 ， 用 于 同一 台 机 左上 多 个 Atlas 实 例 间 的 区 分 

instance = test 

# 监 听 的 记 和 port 

proxy-address = 0.0.0.0:1112 

# 监 听 的 管理 接口 的 让 和 port 


admin-address = 0.0.0.0:1113 


# 管 理 接口 的 用 户 名 

admin-username = admin 

# 管 理 接口 的 密码 

admin-password = 123456 

H^) AOI A 

tables = chapter6.ad.sku_id.2 

FERAE THE 

charset — utf8 

因为 本 例 没有 做 讯 写 分 离 ， 所 以 读 库 proxy-read-only-backend-addresses 
WAAC. AERA: 数据 库 名 . 表 名 .分 表 键 . 表 的 个 数 ， 分 表 的 表 名 
格式 是 table N，N 从 0 开始 。 

4.Atlas 局 动 /重启 /停止 

/usr/local/mysql-proxy/bin/mysql-proxyd chapter6 start 
/usr/local/mysql-proxy/bin/mysql-proxyd chapter6 restart 


/usr/local/mysql-proxy/bin/mysql-proxyd chapter6 stop 


如 上 命令 会 自动 到 /usr/local/mysgl-proxy/conf 目 录 下 查找 chapter6.cnf{ 配 置 
MF e 


5.Atlas/E 3 
通过 如 下 命令 进入 官 理 接 口 。 
mysql -h127.0.0.1 -P1113 -uadmin -p123456 


通过 执行 SELECT * FROM help 查 看 帮助 。 还 可 以 通过 一 些 SQL 进 行 服 
务 器 的 动态 添加 / 移 除 。 


6.Atlas A ving 

ILO Pn SEA t H e 

mysql -h127.0.0.1 -P1112  -uroot -p123456 

use chapter6; 

insert into ad values(1 ‘Wl 51); 

insert into ad values(2, ‘Wl! 12"); 

insert into ad values(3 ' 测 试 3); 

select * from ad where sku id-1; 

select * from ad where sku id-2; 

HELU PSQLuI LUE SUSE ESI A 2 

select * from ad 0; 

select * from ad 1; 

此 时 无 法 执行 select * from ad， 需 要 使 用 如 “select * from ad where 
sku_id=1” 这 种 SQL 进行 租 询 。 即 需要 市 上 sku_id 昌 必须 是 相等 比较 。 如 
REAR WA, MAGNA. WR, WR pea 
AYA eH TT ew. BU EP hmc eve - Ae e e 


此 处 实际 的 分 表 罗 辑 是 按照 商家 进行 分 表 ， 而 不 是 按照 商品 编号 ， 因 为 
我 们 后 台 查 询 时 是 按照 商家 维度 ， 此 处 是 为 了 测试 才 使 用 商品 编号 的 。 


至 此 基本 的 Atlas 束 介绍 完了 了， 更 多 内 容 请 参考 如 下 资料 。 
MySQL 主 从 复制 : http://369369.blog.51cto.com/319630/790921/ 
MySQL 中 间 件 介绍 : http://www.guokr.com/blog/475765/ 


Atlas 使 用 : http://www.0550g0.com/database/mysql/mysql-atlas.html 


Atlas 文 档 
https://github.com/Qihoo360/Atlas/blob/master/README ZH.md 


20.3.6 Java* Tomcat Z 2x 
1.Javazz?& 

cd /usr/servers/ 

# 自 完 到 如 下 网 站 下 载 IDK 


#http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downl 
oads-1880260.html 


EK SC FX jdk-7u75-linux-x64.tar.gz 

tar -xvf jdk-7u75-linux-x64.tar.gz 

vim ~/.bashrc 

在 文件 最 后 添加 如 下 环境 变量 。 

export JAVA_HOME=/usr/servers/jdk1.7.0_75/ 

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 


export 
CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 


# 使 环境 变量 生效 
source 一 /.bashrc 


2.Tomcat 安 装 


cd /usr/servers/ 

wget 
http://ftp.cuhk.edu.hk/pub/packages/apache.org/tomcat/tomcat-7/v7.0.59/bi 
n/apache-tomcat-7.0.59.tar.gz 

tar “KVL apache-rtomcart-7,.9.99.r2af.92 

cd apache-tomcat-7.0.59/ 

# 局 动 

/usr/servers/apache-tomcat-7.0.59/bin/startup.sh 

EE 

/usr/servers/apache-tomcat-7.0.59/bin/shutdown.sh 

# 删 除 Tomcat 默认 的 webapp 

rm -r apache-tomcat-7.0.59/webapps/* 

# 通 过 Catalina 目录 发 布 Web 应 用 

cd apache-tomcat-7.0.59/conf/Catalina/localhost/ 

vim ROOT.xml 


3.ROOT.xml 

<!-- 访问 路 径 是 根 ，Web 应 用 所 属 目 录 为 /usr/chapter6/webapp --> 
«Context path="" docBase="/usr/chapter6/webapp"></Context> 

# 创 建 一 个 静态 文件 随便 瀛 加 点 内 容 

vim /usr/chapter6/webapp/index.html 

# 局 动 

/usr/servers/apache-tomcat-7.0.59/bin/startup.sh 

访问 http://192.168.1.2:8080/index.html， 如 能 处 理 内 容 说 明 配 置 成 功 。 
# 变 更 目录 结构 

cd /usr/servers/ 


mv apache-tomcat-7.0.59 tomcat-server1 


# 此 处 我 们 创建 两 个 Tomcat 实 例 


Cp —r tomcat-server1 tomcat-server2 

vim tomcat-server2/conf/server.xml 

# 如 下 端口 进行 变更 

8080--->8090 

8005--->8006 

启动 两 个 Tomcat。 

/usr/servers/tomcat-server1/bin/startup.sh 
/usr/servers/tomcat-server2/bin/startup.sh 

TAV HA PR PASSE, GOR Ae LE ay UII], Mi cE . 
http://192.168.1.2:8080/index.html 
http://192.168.1.2:8090/index.html 

如 上 步骤 使 我 们 在 一 个 服务 磺 上 能 局 动 两 个 Tomcat 实 例 ， 这 样 的 好 处 是 


我 们 可 以 做 本 机 的 Tomcat 负 载 均衡 ， 假 设 一 个 Tomcat 重 局 时 另 一 个 是 可 
以 工作 的 ， 从 而 不 至 于 不 给 用 户 返 回 啊 应 。 


20.3.7 JavatTomcati? 44 Ff K 
1.15 E M H 

我 们 使 用 Maven 搭 建 Web 项 目 ，Maven 知 识 请 目 行 学 习 。 
2.351 H fé 


本 文 将 最 小 化 依赖 ， 即 仅 依 赖 我 们 需要 的 Servlet、MySQL、Druid、 
Jedis. 


«dependencies» 

«dependency» 
«groupId»javax.servlet«/groupId» 
<artifactId>javax.servlet-api</artifactId> 
<version>3.0.1</version> 
<scope>provided</scope> 


</dependency> 

<dependency> 
«groupId»mysql«/groupId» 
<artifactId>mysql-connector-java</artifactId> 
<version>5.1.27</version> 

</dependency> 

<dependency> 
«groupId»com.alibaba«/groupId» 
<artifactId>druid</artifactId> 
<version>1.0.5</version> 

</dependency> 

<dependency> 
«groupId»redis.clients«/groupId» 
<artifactId>jedis</artifactId> 
<version>2.5.2</version> 

</dependency> 

</dependencies> 


3. 核 心 代码 


7m E. com.github.zhangkaitao.chapter6.servlet. AdServlet4 83 . 


public class AdServlet extends HttpServlet { 
@Override 
protected void doGet (HttpServletRequest req, HttpServletResponse resp) 
throws ServletException, IOException { 

String idStr = req.getParameter ("id"); 

Long id = Long.valueOf (idStr); 

//1. WB MySQL 获取 数据 

String content = null; 

try 1 
content = queryDB (id); 

) catch (Exception e) { 
e.printStackTrace(); 
resp.setStatus( 

HttpServletResponse.SC INTERNAL SERVER ERROR); 
return; 
| 
if(content != null) { 
//2.1 如 果 获 取 到 ， 则 异步 写 Redis 
asyncSetToRedis(idStr, content); 
//2.2 WAS), WENN PY A E 
resp.setCharacterEncoding ("UTF-8") ; 
resp.getWriter().write (content); 
} else { 


//2.3 如 果 获 取 不 到 ， 则 返回 404 状态 码 
resp.setStatus (HttpServletResponse.SC NOT FOUND); 


private DruidDataSource datasource = null; 
private JedisPool jedisPool = null; 


datasource = new DruidDataSource(); 
datasource.setUrl( 
"jdbc:mysq1://127.0.0.1:1112/chapter6?useUnicode-true&c 
haracterEncoding-utf-8&autoReconnect-true"); 
datasource.setUsername ("root"); 
datasource.setPassword("123456"); 
datasource.setMaxActive (100) ; 


GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig(); 
poolConfig.setMaxTotal (100); 
jedisPool - new JedisPool(poolConfig, "127.0.0.1", 1111); 


private String queryDB(Long id) throws Exception { 
Connection conn = null; 
try { 
conn = datasource.getConnection(); 
String sql = "select content from ad where sku id = ?"; 
PreparedStatement psst - conn.prepareStatement (sql); 
psst.setLong(1, id); 
ResultSet rs - psst.executeQuery(); 
String content = null; 
if(rs.next()) ( 
content = rs.getString("content"); 
} 
rs.close(); 
psst.close(); 
return content; 
} catch (Exception e) { 
throw e; 
j Linally { 
if(conn != null) { 
conn.close(); 


private ExecutorService executorService = Executors.newFixedThreadPool (10); 
private void asyncSetToRedis(final String id, finalString content) { 
executorService.submit(new Runnable() { 
@Override 
public void run() { 
Jedis jedis = null; 
try { 
jedis = jedisPool.getResource () ; 
jedis.setex(id, 5 * 60, content) ;//5 分 钟 
} catch (Exception e) { 
e.printStackTrace(); 
jedisPool.returnBrokenResource(jedis); 
} finally { 
jedisPool.returnResource (jedis) ; 


整个 逻辑 比较 简单 , 此 处 更 新 缓存 一 般 使 用 异步 方式 去 实现 , OAS HE EE 
另外 ， 此 处 可 以 考虑 使 用 Servlet 异步 化 来 提示 吞吐 量 。 


4.web.xml 配 置 


«servlet» 
«servlet-name»adServlet«/servlet-name» 


«servlet-class»com.github.zhangkaitao.chapter6.servlet.AdServlet«/servlet 
-Glass» 
</servlet> 
<servlet-mapping> 
<servlet-name>adServlet</servlet-name> 
<url-pattern>/ad</url-pattern> 
</servlet-mapping> 


5.4] WARE, 


cd D:\workspace\chapter6 


mvn clean package 


此 处 使 用 maven 命 令 打 包 。 比 如 ， 本 例 将 得 到 chapter6.war， 然 后 将 其 上 
传 到 服务 器 的 /usr/chapter6/webapp 文 件 中 ， 然 后 通过 unzip —chapter6.war 
解压 。 

6. 训 ix 

局 动 Tomcat 实 例 ， 分 别 访 问 如 下 地 址 将 看 到 广告 内 容 。 
http://192.168.1.2:8080/ad?id=1 

http://192.168.1.2:8090/ad?id=1 

7.Nginx 配 置 


编辑 /usrchapter6mnginx_chapter6.conf 配置 文件 。 


upstream backend { 
server 127.0.0.1:8080 max fails-5 fail timeout-10s weight-1 backup- 


false; 
server 127.0.0.1:8090 max fails-5 fail timeout-10s weight-1 backup- 
false; 
check interval-3000 rise-1 falt2 timeout-5000 type-tcp default down 
false; 
keepalive 100; 
| 
server { 
listen 80; 
server name =; 
location ~ /backend/(.*) { 
keepalive timeout 308 
keepalive requests 100; 
rewrite /backend(/.*) $1 break; 
# 之 后 该 服务 将 只 有 内 部 使 用 ，ngx .location.capture 
proxy pass request headers off; 
#more clear input headers Accept-Encoding; 
proxy next upstream error timeout; 
proxy pass http://backend; 
} 
| 
upstream 配 置 


( http://nginx.org/cn/docs/http/ngx http upstream module.html) 有 如 下 项 
H o 


server: ”指定 上 游 到 的 服务 器 。 





weight: 权重， 权重 可 以 确定 负载 均衡 的 比例 。 


fail timeout*max fails: ”在 指定 时 间 内 失败 多 少 次 后 认为 服务 妖 不 


可 用 ， 通 过 proxy_next_upstream 来 判断 是 否 失 败 。 


: check: ngx_http_upstream_check_module 模 块 ， 上 游 服 务 器 的 健康 检 


fr. 


———A 





interval: 发 送 心 跳 包 的 时 间 间 陋 。 


rise: 连续 成 功 rise 次 数 则 认为 服务 器 局 动 。 





fall: 连续 失败 fall 次 ， 则 认为 服务 器 连接 失败 。 


timeout: 上 游 服务 问 请 求 超时 时 间 。 





type: 心跳 检测 类 型 〈 比 如 此 处 使 用 TCP) . 
更 多 配置 请 参考 


https://github.com/yaoweibin/nginx upstream check module 和 
http://tengine.taobao.org/document cn/http upstream check cn.html. 


: keepalive: 用 来 支持 upstream server http keepalive 特 性 (需要 上 游 服 务 
as cde, EGUITomcat) 。 默 认 的 负载 均衡 算法 是 round-robin， 还 可 以 根 
据 ITP、URL 等 通过 哈 布 算法 来 实现 负载 均衡 。 更 多 资料 请 参考 官方 广 

A 


tomcat keepalive 配 置 有 如 下 项 目 Chttp://tomcat.apache.org/tomcat-7.0- 
doc/config/ http.html) 。 


: maxKeepAliveRequests: 默认 为 100。 


: keepAliveTimeout: 默认 等 于 connectionTimeout， 默 认为 60 秒 。 


location proxy 配 置 有 如 下 项 目 
(http://nginx.org/cn/docs/http/ngx_http_proxy_module.html) 。 


- rewrite: ”将 当前 请 求 的 URL 重 写 ， 如 我 们 请 求 时 是 /backend/ad， 则 重 
与 后 是 /ad。 


: proxy pass: 将 整个 请 求 转 发 到 上 游 服 务 右 。 


”proxy_next_upstream: 负载 均衡 参数 ， 用 来 认定 什么 情况 下 视 为 当 
前 upstream server 失 败 ， 默 认 是 连接 失败 /超时 。 


proxy pass request headers: 之 前 已 经 介绍 过 ， 有 了 两 个 用 途 ， 一 是 如 
上 游 服 务 硕 不 需要 请 求 凑 ， 则 没 必 要 传输 请 求 头 ;二 坪 
ngx.location.capture 时 用 来 防止 gzip 乱 码 (也 可 以 使 用 


more_clear_input_headers 配 置 ) 。 

keepalive: keepalive_timeout 为 keepalive 的 超时 设置 ， 
keepalive_requests 为 长 连接 数量 。 此 处 的 keepalive (别人 访问 该 location 
时 的 长 连接 ) 和 upstream keepalive 〈Nginx 与 上 游 服 务 器 的 长 连接 ) 是 
不 一 样 的 。 要 注意 ， 如 末 服 务 是 面 问 客户 的 ， 而 且 是 单个 动态 内 容 ， 则 
没 必要 使 用 长 连接 。 
编辑 /usrserversnginx/confnginx.conf 配 置 文 件 。 
include /usr/chapter6/nginx_chapter6.conf; 
# 为 了 方便 测试 ， 注 释 挥 example.conf 
#include /usr/example/example.conf; 
重启 Nginx。 


/usr/servers/nginx/sbin/nginx -s reload 


访问 如 192.168.1.2/backend/ad?id=1 即 看 到 结果 。 可 以 停 掉 一 个 Tomcat， 
可 以 看 到 服务 还 是 正常 的 。 


在 vim /usr/chapter6/nginx_chapter6.conf 文 件 中 进行 配置 或 修改 。 
location ~ /backend/(.*) { 
internal; 
keepalive timeout 30s; 
keepalive requests 1000; 
#3 keep-alive 
proxy http version l.1; 
proxy set header Connection ""; 
rewrite /backend(/.*) $1 break; 
proxy pass request headers off; 
more clear input headers Accept-Encoding; 


proxy next upstream error timeout; 
proxy pass http://backend; 


加 上 internal， 表 示 只 有 内 部 使 用 该 服务 。 
20.3.8 Nginx+Lua 逻 辑 开 发 
1. 核 心 代码 

编辑 /srYchapter6/ad.lua 代 三。 

local redis = require("resty.redis") 

local cjson = require(" cjson") 

local cjson. encode = cjson.encode 

local ngx log = ngx.log 

local ngx ERR = ngx.ERR 

local ngx, exit = ngx.exit 


local ngx. print = ngx.print 


local ngx re match = ngx.re.match 
local ngx var = ngx.var 


local function close redis(red) 


if not red then 
return 
end 
-- 释 放 连 接 《〈 连 接 池 实 现 ) 
local pool max idle time = 10000 --EM 
local pool size = 100 -- 连 接 池 大 小 
local ok, err = red:set keepalive(pool max idle time, pool size) 


if not ok then 
ngx log(ngx ERR, "set redis keepalive error : ", err) 
end 
end 
local function read redis(id) 
local red = redis:new() 
red:set timeout (1000) 
local. ip = "127.0.0.1" 
local port = 1111 
local ok, err = red:connect(ip, port) 
if not ok then 
ngx log(ngx ERR, “connect to redis error : ", err) 
return close redis(red) 
end 


local resp, err = red:get (id) 
if not resp then 
ngx log(ngx ERR, "get redis content error : Ty érr) 
return close redis(red) 
end 
-- 得 到 的 数据 为 空 处 理 
if resp -- ngx.null then 
resp - nil 
end 
close redis (red) 


return resp 
end 


local function read http (id) 
local resp = ngx.location.capture("/backend/ad", { 
method = ngx.HTTP GET, 
args = {id = id} 
)) 


if not resp then 


ngx log(ngx ERR, "request error :", err) 
return 
end 


if resp.status ~= 200 then 
ngx log(ngx ERR, "request error, status :", resp.status) 
return 

end 


return resp.body 
end 


-- 获 取 id 


local 1d = ngx var.id 


-- 从 Redis 获取 
local content = read redis (id) 


-- 如 果 Redis 没有 ， 则 回 源 到 Tomcat 

if not content then 
ngx log(ngx ERR, "redis not found content, back to http, id: ", id) 
content = read http (id) 

end 


-- 如 条 还 没有 ， 则 返回 404 

if not content then 
ngx log(ngx ERR, "http not found content, id : ", 1d) 
return ngx exit(404) 

end 


-- 输 出 内 容 

ngx.print("show ad(") 

ngx print(cjson encode({content = content])) 
ngx.print(")") 


T4 n] 8&2 S HAE SEU JRBPAES, Ullocal ngx print = ngx.print. f Hj 
jsonp 方 式 输出 ， 此 处 可 以 将 请 求 URL 限 定 为 /ad/id 方 式 ， 这 样 的 好 处 是 
可 以 尽 可 能 早 地 识别 无 效 请 求 。 可 以 走 Nginx 绥 存 /CDN 绥 存 ， 绥 存 的 


key 就 是 URL， 而 不 带 任何 参数 ， 防 止 那些 在 URL 加 随机 参数 后 穿 透 组 
存 。jsonp 使 用 固定 的 回调 函数 show_ad0， 或 者 限定 几 个 国定 的 回调 来 
Vi > BAF ALAS 


在 vim /usr/chapter6/nginx_chapter6.conf 文 件 中 进行 配置 或 修改 。 


location ~ ^/ad/(Xdt)$ 4 

default type 'text/html'; 

charset utli-$; 

lua code cache on; 

set Sid 51; 

content by lua file /usr/chapter6/ad.lua; 
} 


2.Œ Ja Nginx 
/usr/servers/nginx/sbin/nginx -s reload 


Vj IH] 4thttp://192.168.1.2/ad/1BI PJ Se JR. m HE SOWEX Hos. BAR 
访问 时 不 命中 Redis， 回 源 到 Tomcat。 第 二 次 请 求 时 就 会 命中 Redis 了 。 


第 一 次 访问 时 ， 将 看 到 /usr/servers/nginx/logs/error.log 输 出 类 似 如 下 的 内 
容 ， 而 第 二 放 请 求 相同 的 URL 不 再 有 如 下 内 容 。 


redis not found content, back to http, id : 2 


至 此 整个 架构 就 介绍 完了 了， 此 处 可 以 直接 不 使 用 Tomcat， 而 是 Lua 直 连 
MVySQL 做 回 源 处 理 。 另 外 ， 本 文 只 是 介绍 了 大 体 架 构 ， 还 有 更 多 业务 
及 运 维 上 的 细节 需要 在 实际 应 用 中 根据 目 己 的 场景 进行 摸索 。 后 续 如 使 
用 LVS/HAProxy 做 负载 均衡 、 使 用 CDN 等 可 自行 搜索 相关 学 习 资 料 进行 
A 


本 文 和 节选 目 笔 者 的 开源 电子 书 《 跟 我 学 OpenResty (Nginx+Lua) 开发》 
的 第 6 草 ， 相 天 基础 知识 可 扫 二 维 但 进行 参考 。 





21 使 用 OpenResty 开 发 商品 详情 页 


在 第 16 章 中 己 经 介绍 了 设计 了 商品 评 情 页 的 整体 染 构 和 要 点 ， 本 章 将 以 页 
和 商品 详情 页 为 例 讲 解 如 何 开 人 及 丙 品 详情 页 。 乐 东 了 商品 详 情 页 虽然 仅 古 
单个 页面 ， 但 是 ， 其 数据 聚合 源 是 非常 多 的 ， 际 了 一 些 实时 性 要 求 比较 
高 的 如 价格 、 库 存 、 服 务 文 持 等 通过 AJAX 异 步 加 载 之 外 ， 其 他 的 数据 
fb: TE Je m CAS rr PAR DERE] DARK o 





50 元 流量 包 | 


京东 价 : 5188.00 etian 9 ng 
. 9080 : J NS 
促销 信息 : 薄 1999 .0 元 另 加 79.0 元 即 可 购买 热 销 商品 详情 >> 
服务 支持 : 
[TEE] 诬 送 363 个 京东 通信 8 详情 > 四 fa] 
PIR 


配 送 m: 北京 朝阳 区 三 环 以 内 v 有 货 ， 支 持 货 到 付款 | IaH 
手机 号 码 是 否 四 本 该 机 2 型? 
AR: 由 京东 发 贷 并 提供 售后 服务 。23:00 前 完成 下 单 ， 预 计 明日 02 月 27 日 》 送 达 
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提示 : 因 部 分 区 域 号 段 运营 两 存 在 
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关于 手机 ， 你 可 能 在 找 =: m"— 
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如 上 图 所 示 ， 丙 品 页 主要 包括 商品 基本 信息 《基本 信息 、 图 片 列 表 、 需 
色 / 矿 码头 系 、 扩 展 属性 、 规 格 参数 、 包 到 清单 、 售 后 保障 等 ) 、 丙 品 
介绍 、 其 他 信息 【分 关 、 品 牌 、 店 铺 《〈 第 三 方 卖家 ) 、 店 内 分 类 《第 三 
方 卖家 ) 、 同 类 相关 品牌 ) 。 更 多 细节 此 处 驶 不 再 详细 曾 述 。 


RETR AR BUG Te m WR EA BRI AS RU E A AE FEE TT PRA ER 
WK A BT RV BS EE BE TC AB AE EO So BCI IRI APART RE EAS 
页 ， 但 是 ， 静 态 页 的 最 大 问题 是 无 法 迅速 啊 应 页 面 需求 变更 ， 很 难 做 多 
版 本 线 上 对 比 误 试 。 如 上 两 个 因 系 四 以 制约 商品 页 的 多 样 化 友 展 ， 

JE. BG DUNT ERU BTE. 


通过 分 析 ， 数 据 主要 分 为 四 种 : 商品 页 基本 人 信息、 商品 介绍 《〈 腊 步 加 
载 ) 、 其 他 信息 〈 分 类、 品牌 、 店 铺 等 ) 、 其 他 需要 实时 展示 的 数据 
(价格 、 库 存 等 ) 。 而 其 他 信息 如 分 类 、 品 牌 、 店 铺 是 非常 少 的 ， 完 全 
可 以 放 到 一 个 占用 内 存 很 小 的 Redis 中 存储 。 而 商品 基本 信息 可 以 依 鉴 
静态 化 技术 将 数据 做 聚合 存储 ， 数 据 是 原子 的 ， 而 模板 是 随时 可 变 的 ， 
这 样 的 好 处 是 吸收 了 静态 页 聚合 的 优点 ， 弥 人 补 了 静态 页 的 多 版 本 缺点 。 
另外 一 个 非常 严重 的 问题 束 是 严重 依赖 相关 系统 ， 如 果 它 们 无 法 正常 运 
行 或 啊 应 慢 ， 则 商品 页 束 会 直接 受到 影响 。 商 品 介 绍 也 通过 AJAX 技 术 
惰性 加 载 ( 因 为 是 第 二 屏 ， 只 有 当 用 户 深 动 鼠 标 到 该 屏 时 才 显 示 ) . gf 
实时 展示 数据 通过 AJAX 技 术 做 异步 加 载 。 因 此 可 以 做 如 下 设计 。 


1. 接 收 商 品 杰 更 消息 ， 做 商品 基本 信息 的 聚合 ， 即 从 多 个 数据 源 获 取 两 
MAKTE, WKF, WERE, WESA VERET, RARA 
一 个 大 的 JSON 数 据 做 成 数据 闭环 ， 以 key-value 存 储 。 因 为 是 财 环 ， 所 


以 即使 依赖 的 系统 无 法 运行 ， 丙 品 页 还 能 继续 服务 ， 对 商品 页 不 会 造成 
任何 影 Hr] 


2 CTI m AP ER AE SB TH s. 存储 了 商品 介 绍 信 已 。 
介绍 其 他 信息 变更 消息 ， 存 储 其 他 信息 。 

















H 
整个 架构 如 下 图 所 示 。 
基本 信息 | 
55DB 人 集群 | 
RRA | | | . 
is Fy X Hx A ANT Hy Yr AgI Di Slt 
DMO T jt E 数据 聚合 fr AE 商品 介绍 | Ui 
| Twemprox | ! Twemprox «— — — — Nginx 
Worker diss SSDB 集 群 | proxy g 
































习 RPC 调 用 N 个 系统 获取 数据 其 他 信息 | 
Redis 





BRPC 调 用 N 个 系统 获取 数据 











其 他 服务 





动态 服务 | 
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21.1 技术 选 型 


MQ 可 以 使 用 如 Apache ActiveMQ. 
Worker 动 态 服务 可 以 通过 如 Java 技 术 实 现 。 
RPC 可 以 选择 Alibaba Dubbo. 


KV 持 人 化 全 储 可 以 选择 SSDB (如 果 使 用 SSD 租 ， 则 可 以 选择 
SSDB+RocksDB 引 擎 ) 或 者 ARDB (CLMDB 引 人 擎 版 ) 。 


绥 存 使 用 Redis。 


SSDB/Redis 分 片 使 用 Twemproxy， 这 样 不 官 使 用 Java 还 是 
OpenResty (Nginx+Lua) ， 它 们 都 不 关心 分 搬 馆 辑 。 


"i EN HEE H OpenResty. 


数据 集群 数据 存储 的 机 器 可 以 采用 RAID 技 术 或 者 主 从 模式 防止 单 点 故 
隐 。 因 数据 变更 不 频 楷 ， 可 以 竹 夸 用 SSD 疹 代 HDD。 


21.2 ”核心 流程 
1. 首 先 ， 监 听 商 品 数 据 变 更 消息 。 


2. 接 收 到 消 晨 后 ， 数 据 有 聚合 Worker 通 过 RPC 调 用 相关 系统 获取 所 有 要 展 
示 的 数据 ， 些 处 获取 数据 的 来 源 可 能 非常 多 ， 而 且 啊 应 速度 完全 受制 于 
这 些 系统 ， 可 能 耗 时 几 昌 坚 秒 甚 全 1 秒 以 上 的 时 间 。 


3. 将 数据 聚合 为 JSON 串 存储 到 相关 数据 集群 。 


4. 前 病 Nginx 通 过 Lua 获 取 相 关 集 群 的 数据 进行 展示 。 商 品 页 需要 获 取 基 
本 信息 和 其 他 信息 进行 模板 拼 竣 ， 即 拼 闭 模板 仅 需 要 两 次 调用 《〈 夯 外 ， 
因为 其 他 信息 数据 量 少 且 对 一 致 性 要 求 不 遍 ， 因 此 ， 完 全 可 以 缓存 到 

Nginx 本 地 全 局 内 存 ， 这 样 可 以 减少 远程 调用 、 提 高 性 能 ) 。 当 页 面 滚 
动 到 商品 介绍 负面 时 ， 措 步调 用 商品 介绍 服务 获取 数据 。 


5. 如 果 从 聚合 的 SSDB 集 群 /Redis 中 获取 不 到 相关 数据 ， 则 回 源 到 动态 服 
务 ， 通 过 RPC 调 用 相关 系统 获取 所 有 要 展示 的 数据 返回 〈 此 处 可 以 做 限 
流 处 理 ， 因 为 (如 果 同 一 时 间 请 求 过 多 ， 那 么 可 能 导致 服务 雪 朋 ， 所 以 
需要 采取 保护 措施 ) ， 此 处 的 逻辑 和 数据 聚合 Worker 完 全 一 样 。 然 后 发 
送 MQ 通 知 数据 变更 ， 这 样 下 次 访问 时 就 可 以 从 聚合 的 SSDB 集 群 /Redis 
中 获取 数据 了 。 

基本 流程 如 上 上 所 述 ， 主要 分 为 Worker、 动态 服务 、 数 据 存 储 和 前 问 展 

INI 


示 。 因 为 系统 非常 复杂 ， P ZA BN AS ARS FAW vim EAN. ACHE AE aE PY o 
Worker 部 分 不 做 实现 。 


21.3 WHE 
Jy E Sp H 3e 2i MJ. 


/usr/chapter7 
ssdo basic 17/70.00nf 
ssedb basic TITL.GONL 
ssdb basic 7772.conf 
ssdb basic 7//J,econf 
ssdb desc 8880.conf 
ssdb desc 8881.conf 
ssdb desc 8882.conf 
ssdb desc 8883.conf 
redis other 6660.cont 
redis SEDEF 56G.... Game 


nutcracker. yml 
nutcracker.init 
item. html 
header. html 
footer.html 
item.lua 
desc.lua 
lualib 
item.lua 
item 
common.lua 
webapp 
WEB-INF 
lib 
classes 
web.xml 


为 了 演示 需要 ， 将 各 种 配置 文件 都 打包 到 一 个 目录 下 ， 包 括 SSDB、 
Redis、OpenResty、OpenResty 项 目 、Web 项 目 。 


21.4 数据 存储 实现 


re 
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也 信息 Redis (M) 






其 他 信息 Redis (E) 
6660 









其 他 信息 Redis (M) 


—————————————————————————————————————————————————————————————————— Bl 


如 上 图 所 示 ， 整 体 架 构 为 主 从 模式 ， 写 数据 到 主 集群 ， 读 数据 从 从 集群 
谈 取 数据 ， 这 样 当 一 个 集群 不 足以 文 撑 流 量 时 可 以 使 用 更 多 的 集群 来 文 
撑 更 多 的 访问 量 。 和 集群 分 厂 使 用 Twemproxy 实 现 。 


1 商品 基本 信息 SSDB 和 集群 配置 


21.4. 


编辑 /usrchapter7/ssdb_basic_7770.conf 配 置 文件 。 


work dir - 
pidfile - 


server: 
1p: 
por. 


0.00.0 

7770 

LZ «Die 0.4 
192,158 


allow: 
allow: 


replication: 
binlog: yes 
sync speed: -1 
slaveof: 


/usr/data/ssdb 7770 
/usr/data/ssdb 7770.pid 


logger: 
level: error 
output: /usr/data/ssdb 7770.10g 
rotate: 
size: 1000000000 


leveldb: 
cache size: 300 
block S126: 32 
write buffer size; 64 
compaction speed: 1000 
compression: yes 


编辑 /usrchapter7/ssdb_basic_7771.conf 配 置 文件 。 


work dir - /usr/data/ssdb 7771 
pidfile - /usr/data/ssdb 7771.pid 


Server: 
Tot ÜUsDeUg 
port: woe 
allows 1L27.0.0.1 
allows 194.159 


replication: 
binlog: yes 
syne speed: = 
slaveof: 
logger: 
level: error 
outputs Jusr/data/ssdb 777L.leg 
rotate: 
size: 1000000000 


leveldb: 
Cache size: SUD 
LIGUE Sige: 22 
WElte SUIT&ef sizes 54 
compaction speed: 1000 
compression: yes 


编辑 /usrchapter7/ssdb_basic_7772.conf 配 置 文件 。 
work dir = /usr/data/ssdb 7772 


pidfile = /usr/data/ssdb_7772.pid 


server: 
lp: D.U.Q.0 
bort: 7772 
lle 5740,05, 
Allow: 192.168 


replication: 
binlog: yes 
gyno Spesdsi el 
slaveof: 
typer Sync 
1o: dA T De Oy ol. 
porta ZPIB 


logger: 
level: error 
outputs /usr/data/ssdy 77124lug 
rotate: 
size: 1000000000 


levelubs 
dagie 81263 JUD 
block S196] M 
write buffer size: 64 
compaction speed: 1000 
compression: yes 


编辑 /usr/ chapter7/ssdb_basic_7773.conf 配 置 文件 o 


work dir = /usr/data/ssdb 7773 
pidfile = /usr/data/ssdb 7773.pid 


server: 
ipt 0.0.0.0 
port: 7773 
allow: Iar Veal 
allow: 192.168 


replication: 
binlog: yes 


syne speed: -1 
slaveof: 
type: syne 


ips Als ..l 
porti TAAL 


logger: 
level: error 
output: /usr/data/ssdb T773.10g 
rotate: 
size: 1000000000 


leveldb: 
cache sizes: 300 
block gBlzes 32 
write Duffer size: 64 
compaction speed: 1000 
compression: yes 


Ac ELSCTEBEHRITabifü Ae HP TRA = CB h BUC S SC ERIBSIBaUS 
替换 为 Tab) 。 主 从 关系 : 7770 (CŒ) -7772 (M) , 7771 (È) 
+7773 A) 。 配 置 文件 如 何 配置 请 参考 https:Wgithub.comyideawu/ssdb- 
docs/blob/master/src/zh cn/config.md. 


创建 工作 目录 。 


mkdir -p /usr/data/ssdb 7770 


mkdir -p /usr/data/ssdb 7771 
mkdir -p /usr/data/ssdb 7772 
mkdir -p /usr/data/ssdb 7773 
局 动 。 


nohup /usr/servers/ssdb-1.8.0/ssdb-server /usr/chapter7/ 
ssdb basic 7770.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb-server /usr/chapter7/ 
ssdb basic 7771.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb- 
server /usr/chapter7/ssdb basic 7772.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb-server  /usr/chapter7/ 
ssdb basic 7773.conf & 


通过 ps -aux | grep ssdb 命 令 查看 是 否 启动 ，tail -f nohup.out 查 看 错误 信 
= 
Uu 


4 


21.4.2 ”商品 介绍 SSDB 集 群 配置 


编辑 /usr/chapter7/ssdb_desc_8880.conf 配置 文件 。 


Oo 


work dir = /usr/data/ssdb 8880 
pidfile = /usr/data/ssdb8880.pid 


server: 
lps Q.0.0.12 
port: 8880 


elle L27.D.B. 
allow: 192.158 


replication: 
binlog: yes 
syne speed: 一 
slaveof: 
logger: 
level: error 
output: /usr/data/ssdb 8880.10g 
rotate: 
size: 1000000000 


leveldb: 
cache size: 200 
block Size: 32 
Write .SULLEE Sizes 64 
compaction speed: 1000 
compression: yes 


7m t./usr/chapter7/ssdb desc 8881.conf 配置 文件 。 


work dir - /usr/data/ssdb 8881 
pidfile = /usr/data/ssdb8881.pid 


Server: 
Lon 0.0.0.0 
port: 888. 
allows LZ7.D40.l 
allows: 1922:1686 


logger: 
level: error 
output: /usr/data/ssdb 8881.10g 
rotate: 
size: 1000000000 


Le 
Cache Bizet 500 
block Size: 32 
write buffer size: 54 
compaction speed: 1000 
compression: yes 


7m t./usr/chapter7/ssdb desc 8882.conf 配置 文件 。 


work dir = /usr/data/ssdb 8882 
pidfile - /usr/data/ssdb 8882.pid 


server: 
LS D.Dg. 
port: 8862 
allows: LZ7.04.0,.1 
allow: 192.168 


replication: 
binlog: yes 
syno speed: -1 
slaveof: 
replication: 
binlog: yes 
syne speed: ~] 


slaveof: 
type: sync 
Ip: -Loyal 
port: 8880 


logger: 
level: error 
output: /usr/data/ssdb 8882.10g 
rotate: 
size: 1000000000 


Were LOR: 
Cache Size; 300 
block size: 32 
write buffer size; 64 
compaction speed: 1000 
compression: yes 


7m t/usr/chapter7/ssdb desc 8883.conf 配置 文件 。 


work dir = /usr/data/ssdb 8883 
pidfile = /usr/data/ssdb 8883.pid 


server: 
15s 0.0.0.0 
port: 8883 
allow: L27,049,.1 
allow: 192.168 


replication: 
binlog: yes 


sync speed: -i 
slaveof: 
YOE: Syp 
LB! LET.D.9.2 
ports 83591 


logger: 
level: error 
output: /usr/data/ssdb 8883.log 
rotate 
size: 1000000000 


Jleveldps 
cache sizes dU 
blo S12E64 32 
NELES BULLer Sizes Bu 
compaction speed: 1000 
compression: yes 


配置 文件 使 用 Tab 而 不 是 用 空格 做 缩 排 “复制 到 配置 文件 后 请 把 空格 符 
换 为 Tab ) 。 主 从 关系 : 7770 (Œ) 27772 (M) , 7771 (È) 

+7773 A) 。 配 置 文件 如 何 配 置 请 参考 https://github.com/ideawu/ssdb- 
docs/blob/master/src/zh cn/config.md. 


创建 工作 目录 。 
mkdir -p /usr/data/ssdb_888{0,1,2,3} 
局 动 。 


nohup /usr/servers/ssdb-1.8.0/ssdb-server  /usr/chapter7/ 
ssdb desc 8880.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb-server  /usr/chapter7/ 
ssdb desc 8881.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb- 
server /usr/chapter7/ssdb desc 8882.conf & 


nohup /usr/servers/ssdb-1.8.0/ssdb- 
server /usr/chapter7/ssdb desc 8883.conf & 


通过 ps -aux | grep ssdb 命 令 查看 是 否 启动 ，tail -f nohup.out 查 看 错误 信 
= 
JU 


Oo 


21.4.3 ”其 他 信息 Redis 配 置 


编辑 /usr/chapter7/redis_6660.conf 配置 文件 。 

port 6660 

pidfile "/var/run/redis 6660.pid" 

# 设 置 内 存 大 小 ， 根 据 实际 情况 设置 ， 此 处 测试 仅 设 兽 20MB 
maxmemory 20mb 

# 内 存 不 足 时 ， 所 有 KEY 按 照 LRU 算 法 删除 
maxmemory-policy allkeys-lru 


#Redis 的 过 期 算法 不 是 精确 的 ， 而 是 通过 采样 来 算 的 ， 默 认 采 样 为 3 
个 ， 此 处 我 们 改 成 10 


maxmemory-samples 10 


# 不 进行 RDB 持 久 化 


Yr v 


Save 


# 不 进行 AOF 持 久 化 

appendonly no 

编辑 /usr/chapter7/redis_6661.conf 配置 文件 。 

port 6661 

pidfile "/var/run/redis 6661.pid" 

# 设 置 内 存 大 小 ， 根 据 实际 情况 设置 ， 此 处 测试 仅 设 兽 20MB 
maxmemory 20mb 

# 内 存 不 足 时 ， 所 有 key 按 照 LRU 算 法 进行 删除 
maxmemory-policy allkeys-lru 


#HRedis i WHS cee S] ,— Mea PORE, ERUCKPE AB 
个 ， 此 处 我 们 改 成 10 


maxmemory-samples 10 


# 不 进行 RDB 持 久 化 


[| 


save 
# 不 进行 AOF 持 久 化 

appendonly no 

# 主 从 

slaveof 127.0.0.1 6660 

2a H/usr/chapter7/redis 6662.conf 配置 文件 。 
port 6662 


pidfile "/var/run/redis 6662.pid" 


# 设 置 内 存 大 小 ， 根 据 实 际 情况 设置 ， 此 处 测试 仅 设 置 20MB 


maxmemory 20mb 


# 内 存 不 足 时 ， 所 有 key 按 照 LRU 算 法 进行 删 


maxmemory-policy allkeys-lru 


人 


[S 


AfRedisI]L B] L7; A JE RS I, Mew PORN, ERUOKPE AB 


个 ， 此 处 我 们 改 成 10 
maxmemory-samples 10 


# 不 进行 RDB 持 久 化 


[| 


save 
# 不 进行 AOF 持 久 化 
appendonly no 

# 主 从 


slaveof 127.0.0.1 6660 


如 上 配置 放 到 配置 文件 最 末尾 即 可 。 此 处 内 存 不 足 时 的 张 逐 算法 为 所 有 
key 控 照 LRU 进 行 删 除 ( 实 际 上 内 存 基 本 上 不 会 过 到 满 的 情况 ) 。 主 从 


KA: 6660 (XE) 26661 CM) #6660 ( 主 ) 56662 (M) 。 


JA Z] o 


nohup /usr/servers/redis-2.8.19/redis-server /usr/chapter7/redis 6660.conf & 
nohup /usr/servers/redis-2.8.19/redis-server /usr/chapter7/redis 6661.conf & 
nohup /usr/servers/redis-2.8.19/redis-server /usr/chapter7/redis 6662.conf & 


通过 ps -aux | grep redis Q EA 7e aaa), tail -f nohup.out £t £6ix fh 


Š 
JEJO 


21.4.4 ”集群 测试 


测试 时 在 主 SSDB/Redis 中 写 入 数据 ， 然 后 从 从 SSDB/Redis 能 读 取 到 数 
据 ， 即 表示 配置 主 从 成 功 。 


测试 两 品 基本 信息 SSDB 集 群 。 
root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 7770 
127.0.0.1:7770> set i 1 

OK 

127.0.0.1:7770> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 7772 
127.0.0.1:7772> get i 

"q" 

DMAH mI ASSDBR FE. 
root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 8880 
127.0.0.1:8880> set i 1 

OK 

127.0.0.1:8880> 


root@kaitao:/usr/chapter7# 


/usr/servers/redis-2.8.19/src/redis-cli -p 8882 
127.0.0.1:8882> get i 

"q" 

测试 其 他 信息 集群 。 
root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 6660 
127.0.0.1:6660> set i 1 

OK 

127.0.0.1:6660> get i 

"q" 

127.0.0.1:6660> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 6661 
127.0.0.1:6661> get i 


- 
21.4.5 Twemproxy Hi Æ 


编辑 /usr/chapter7/nutcracker.yml 配置 文件 。 


basic master: 
lELBERSHI L27,D.0.111111 
hash: fnvla 64 
distribution: ketama 
redis: true 
timeout: 1000 
hash wags "ri^ 
servers: 
— 121,0.0.1277170x-:1 BErTVESEFI 
e LATIU.U.l277 TLL Server 


basic slaves 
J el 
hash: fnvia 64 
distribution: ketama 
redis: true 
timeout: 1000 
Hasi tagi ri 
servers: 
e&lsfaUg0.Le2772581 server! 
人 


desc master: 
lisren: 127.0.0.111113 
hash: fnvla 64 
distribution: ketama 
redis: true 
timeout: 1000 
nash, Tagi "rr" 
servers: 
= I77<Oe0.leeecvel serverl 
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desc slave; 


listens; lZ/.00.l1:2lll4 
hash: fnvla 64 
distribution: ketama 

redis: true 

timeout: 1000 

servers: 

> 127;,0,0.,1:988982:1 server! 
= I2/:0.0.,11:9983:.1] server 


other master: 


listens ue Te Gee Leis 
hash: fnvla 64 
distributions random 

redis: true 

timeout: 1000 

nash rage “sr” 

servers: 

H lI aU er server, 


Other GLAVE! 


listens 127.0.0.18LLL$ 
hash: fnvla 64 
distributions Tandon 

redis: true 

timeout: 1000 

hash Lag? "se" 

servers: 

— t2/7.0..0.L:16661iL server. 
— 127.0.0.1:60502:1 SEYVET 


RATER SEM, 所 以 需要 给 Server 起 一 个 名 字 ， 如 server1、Sserver2 。 


Fy y, 分 厂 算 
法 不 二 至。 


因为 其 他 信息 Redis 是 单 实例 全 量 ， 没 有 进行 


使 用 random。 


守法 默认 根据 ip:port:weight， 


分 片 ， 因 此 分 片 算 


这 样 就 会 使 主 从 数据 的 分 厂 算 


法 可 以 


我 们 使 用 了 hash_tag， 可 以 保证 相同 的 tag 在 一 个 分 片上 《本 例 配置 
了 ， 但 没有 用 到 该 特性 〉。 


复制 《 跟 我 学 OpenResty (Nginx+Lua) 开发 》 第 6 章 的 nutcracker.init， 


并 把 配置 文件 改 为 usYVchapter7/mmutcracker.yml。 然 后 通 
T /usr/chapter7/nutcracker.init start 司 动 Twemproxy。 


测试 主 从 集群 是 否 工 作 正 常 ， 代 码 如 下 。 
root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1111 
127.0.0.1:1111> set i 1 

OK 

127.0.0.1:1111> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1112 
127.0.0.1:1112> get i 

"q" 

127.0.0.1:1112> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1113 
127.0.0.1:1113> set i 1 

OK 


127.0.0.1:1113» 


root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1114 
127.0.0.1:1114> get i 

"q" 

127.0.0.1:1114> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1115 
127.0.0.1:1115> seti1 

OK 

127.0.0.1:1115> 

root@kaitao:/usr/chapter7# 
/usr/servers/redis-2.8.19/src/redis-cli -p 1116 
127.0.0.1:1116> get i 

"q" 


到 此 数据 集群 配置 成 功 。 
21.5 动态 服务 实现 


因为 真实 数据 是 从 多 个 子 系统 获取 ， 很 难 模 拟 这 么 多 于 系统 交互 ， 所 以 
此 处 使 用 假 数 据 来 进行 实现 。 


21.5.1 MARE 


使 用 Maven 搭 建 Web 项 目 ，Maven 知 识 请 自行 学 习 。 


21.5.2 项目 依 赖 
本 文 将 最 小 化 依赖 ， 即 仪 依赖 需要 的 Servlet、Jackson、Guava、Jedis。 


<dependencies> 

<dependency> 
«groupId»javax.servlet«/groupId» 
<artifactId>javax.servlet-api</artifactId> 
<version>3.0.1</version> 
<scope>provided</scope> 

</dependency> 

<dependency> 
«grouplId»com.google.guava«c/groupId» 
<artifactId>guava</artifactId> 
<version>17.0</version> 

</dependency> 

<dependency> 
«groupId»redis.clients«/groupId» 
«artifactId»jedis«/artifactId» 
<version>2.5.2</version> 

</dependency> 

<dependency> 
«groupId»com.fasterxml.jackson.core«c«/groupId» 
<artifactId>jackson-core</artifactId> 
<version>2.3.3</version> 

</dependency> 

<dependency> 
«groupId»com.fasterxml.jackson.core«c«/groupId» 
<artifactId>jackson-databind</artifactId> 
<version>2.3.3</version> 

</dependency> 

</dependencies> 


guavVa 征 关 似 于 apache ”commons 的 一 个 基础 兴奋 ， 用 于 简化 一 些 重复 操 
作 ， 可 以 参考 http:VWifeve.comy/google-guavay。 


21.5.3 ”核心 代码 


7m t com.github.zhangkaitao.chapter7.servlet.ProductServiceServletf V4 . 


@Override 
protected void doGet (HttpServletRequest reg HttpServletResponse resp) 
throws ServletException, IOException { 
String type = req.getParameter ("type"); 
String content = null; 
try { 
if("basic".equals(type)) { 
content = getBasicInfo(req.getParameter ("skuId")); 
} else if("desc".equals(type)) { 
content = getDescInfo (req.getParameter ("skuId")); 
) else if("other".equals(type)) { 
content = getOtherInfo(req.getParameter ("ps3Id"), 
req. getParameter ("brandId")); 
} 
) catch (Exception e) { 
e.printStackTrace(); 


resp.setStatus(HttpServletResponse.SC INTERNAL SERVER ERROR); 

return; 

| 

if(content !- null) { 
resp.setCharacterEncoding ("UTF-8") ; 
resp.getWriter().write (content); 

) else { 
resp.setStatus (HttpServletResponse.SC NOT FOUND); 


根据 请 求 参 数 type 来 决定 调用 哪个 服务 获取 数据 。 
1. 基 本 信息 服务 


private String getBasicInfo(String skuId) throws Exception { 
Map<String, Object» map = new HashMap<String, Object>(); 
/ /商品 编写 
mapocpuri("skuld". Skuld)? 
// 名 称 
map.put("name", "苹果 (Apple) iPhone 6 (A1586) 16GB 金色 移动 联通 电 
信 4G FAL"); 
// 一 级 二 级 三 级 分 类 
Nas Dut (Ps LIE e Sl 
Nan Bue Ue" 6953)3 
Map out (“pesla", 635); 
// 品 牌 ID 
map.put("brandId", 14026); 


/ /图 片 列表 

map.put("imgs", getimgs(skuld)); 

/ /上架 时 间 

nmaàp.put("date", "2014-10-09 22:29:09"); 

// 商 品 毛重 

map.put("weight", "400"); 

/ / Bine FR R8 

map.put("colorSize", getColorSize(skuIld)); 

/ /扩展 属性 

map.put("expands", getExpands (skuId)); 

// 规 格 参数 

map.put ("propCodes", getPropCodes(skulId)); 
map.put("date", System.currentTimeMillis()); 

String content - objectMapper.writeValueAsString (map); 
/ /实际 应 用 应 该 是 发 送 MO 

asyncSetToRedis (basicInfoJedisPool, "p:" + skuId+ ":", content); 
return objectMapper.writeValueAsString (map); 


private List<String> getImgs(String skuId) { 
return Lists.newArrayList( 
"jfs/t277/193/1005339798/7768456/29136988/542d0798N19d42ce3. jpg", 
"jfs/t352/148/1022071312/209475/53b8cd7£/5428079bN3ea45c98. jpg", 
"4 fs/t274/315/1008507116/108039/£70cb380/542d0799Na03319e6. jpg", 
"3 £s/t337/181/1064215916/27801/b5026705/542d07 9aNE184cel8. jpg" 


private List<Map<String, Object>> getColorSize(String skuld) { 
return Lists.newArrayList ( 

makeColorSize (1217499, "4r(&", "AJ hk (16GB ROM) "), 
makeColorSize(1217500, "RA", “AFM (16GB ROM) "Yy 
makeColorSize (1217501, "RE", "AFW (16GB ROM) "), 
makeColorSize(1217508, "4f&", "AFN (64GB ROM) "), 
makeColorSize (1217509, "RA", "公开 版 (64GB ROM) "), 
makeColorSize(1217509, "RE", "公开 版 (64GB ROM) "), 
makeColorSize(1217493, "fi", "移动 4G 版 (16GB) "), 
makeColorSize (1217494, "RK", "移动 4G 版 (16GB) "), 
makeColorSize (1217495, "#6", "移动 4G 版 (16GB) "), 
makeColorSize (1217503, "#fi", "移动 46 版 (64GB) "), 
makeColorSize(1217503, "@fi", "f£xjaGhk (64GB) "), 
makeColorSize(1217504, "R&A", "移动 46 版 (64GB) "), 
makeColorSize(1217505，" 银 色 "， "移动 46 版 (64GB) ") 


] 
private Map<String, Object» makeColorSize(long skuId, String color, 
String size) ( 
Map<String, Object» csl = Maps.newHashMap(); 
csl.put("SkuId", skuId); 
csl.put("Color", color); 
csl.put("Size", size); 
return csl; 


private List<List<?>> getExpands(String skuId) { 
return Lists.newArrayList ( 


薄 7mm 以 下 "，" 文 持 NFC") ) ， 

(List«?»)Lists.newArraylist("A&Zt", "ÆR (IOS) "), 
(List«?»)Lists.newArrayList(" AZ", "ER (IOS) "), 
(List<?>) Lists.newArrayList (" 购 买方 式 "，" 非 合约 机 ") 


private Map<String, List<List<String>>>getPropCodes (String skuId) { 

Map<String, List<List<String>>> map = Maps.newHashMap () ; 

map.put ("E/K", Lists.<List<String>>newArrayList ( 
Lists.<String>newArrayList ("Mmh#", "249 (Apple) "), 
Lists.<String>newArrayList ("4J5", "iPhone 6 A1586"), 
Lists.<String>newArrayList (" 颜 色 "，" 金 色 ") ， 
Lists.<String>newArrayList ("上 市 年 份 "，"2014 年 ") 

)); 

map.put ("4Fff", Lists.<List<String>>newArrayList ( 
Lists.«String»newArrayList ("HLJ AÝ", "16GB ROM"), 
Lists.<String>newArrayList ("储存 卡 类 型 "，" 不 文 持 ") 

) ) ; 

map.put ("©7R", Lists.<List<String>>newArrayList ( 
Lists.<String>newArrayList (屏幕 尺 寸 "， "4.7 RJ"), 
Lists.<String>newArrayList ("触摸 屏 "，"Retina HD"), 
Lists.<String>newArrayList ("4)##4", "1334 x 750") 

)); 


return map; 


本 例 基本 信息 提供 了 如 两 品名 称 、 图 片 列表 、 闫 色 尺 码 、 扩 展 属性 、 规 
格 参 数 等 数据 。 而 为 了 从 化 逻辑 ， 大 多 数 数 据 部 是 List/Map 数 据 结构 。 


2. 商 品 介绍 服务 


private String getDescInfo(String skuId) throws Exception { 

Map«String, Object» map = new HashMap<String, Object>(); 

map.put("content", "<div><img data -lazyload='http:// img30. 
360buyimg.com/jgsq-productsoa/jfs/t448/127/574781110/103911/b3c80634/5472 
ba22N45400f4e.jpg' alt='' /»«img data-lazyload-'http:// img30.360buyimg. 
com/jgsq-productsoa/jfs/t802/133/19465528/162152/e463e43/54e2b34aN11bceb7 
0.jpg' alt='' height='386' width='750' /></div>"); 

map.put("date", System.currentTimeMillis()); 

String content = objectMapper.writeValueAsString (map) ; 

// 实 际 应 用 应 该 是 发 送 MO 

asyncSetToRedis (descInfoJedisPool, "d:" + skuId + ":", content); 

return objectMapper.writeValueAsString (map); 


} 


3. 其 他 信息 服务 


private String ge tOtherInfo(String ps3Id, String brandId) throws 
Exception { 

Map<String, Object» map = new HashMap<String, Object>(); 

/ /面包 履 

List<List<?>> breadcrumb = Lists.newArrayList(); 

breadcrumb.add(Lists.newArrayList(9987, "手机 ")) 

breadcrumb.add (Lists.newArrayList (653, Fan 

breadcrumb.add(Lists.newArrayList(655, "手机 ") 

/ /品牌 

Map<String, Object» brand = Maps.newHashMap(); 

brand.put("name", "SÉÓR (Apple) "); 

brand.put ("logo", 

"BrandLogo/g14/M09/09/10/rBEhVlK6vdkIAAAAAAAFLXzp-lIAAHWawP QjwAAAVF472.png"); 

map.put("breadcrumb", breadcrumb); 

map.put("brand", brand); 

// 实 际 应 用 应 该 是 发 送 MO 

asyncSetToRedis (otherInfoJedisPool, "s:" + ps3Id + ":", 
objectMapper.writeValueAsString (breadcrumb) ) ; 

asyncSetToRedis (otherInfoJedisPool, "b:" + brandId + ":", 
objectMapper.writeValueAsString (brand) ) ; 

return objectMapper.writeValueAsString (map) ; 


Zn] xp Rei s SER] qe eu JE RU i FH o 
4. 辅 助 工具 


private ObjectMapper objectMapper = new ObjectMapper(); 

private JedisPool basicInfoJedisPool = createJedisPool("127.0.0.1", 1111); 
private JedisPool descInfoJedisPool = createJedisPool("127.0.0.1", 1113); 
private JedisPool otherInfoJedisPool = createJedisPool("127.0.0.1", 1115); 


private JedisPool createJedisPool(String host, int port) { 
GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig(); 
poolConfig.setMaxTotal (100); 
return new JedisPool(poolConfig, host, port); 


private ExecutorService executorService - Executors.newFixedThreadPool (10); 
private void asyncSetToRedis(final JedisPool jedisPool, final Sring 
key, final String content) { 
executorService.submit(new Runnable() { 
@Override 
public void run() { 
Jedis jedis = null; 
Ey | 
jedis = jedisPool.getResource(); 
jedis.set(key, content); 
} catch (Exception e) { 
e.printStackTrace(); 
jedisPool.returnBrokenResource (jedis); 
) finally { 
jedisPool.returnResource (jedis) ; 


本 例 使 用 Jackson 进 行 JSON 的 序列 化 。Jedis 进 行 Redis 的 操作 。 使 用 线程 
池 做 异步 更 新 《实际 应 用 中 ， 可 以 使 用 MQ 做 实现 ) 。 


21.5.4 web.xml 配 置 


<servlet> 
<servlet-name>productServiceServlet</servlet-name> 


<servlet-class>com.github.zhangkaitao.chapter7.servlet.ProductServiceServ 
let</servlet-class> 


</servlet> 

<servlet-mapping> 
«servlet-name»productServiceServlet«/servlet-name» 
<url-pattern>/info</url-pattern> 

</servlet-mapping> 


21.5.5 FT WAR#, 


cd D:\workspace\chapter7 


mvn clean package 


此 处 使 用 maven 命 令 打 包 ， 比 如 本 例 将 得 到 chapter7.war， 然 后 将 其 上 传 
到 服务 需 的 /asvchapter7/webapp， 然 后 通过 unzip chapter6.war 解 压 。 


21.5.6 Hc Tomcat 


复制 《 跟 我 学 OpenResty (Nginx+Lua) 开发 》 第 6 章 使 用 的 Tomcat 实 
fh. 


cd /usr/servers/ 

cp -r tomcat-server1 tomcat-chapter7/ 

vim /usr/servers/tomcat-chapter7/conf/Catalina/localhost/ROOT.xml 
<!-- 访问 路 径 是 根 ，Web 应 用 所 属 目 录 为 /usr/chapter7/webapp --> 
«Context path="" docBase="/usr/chapter7/webapp"></Context> 


指向 第 7 章 的 Web 应 用 路 径 。 


21.5.7 ”测试 


局 动 Tomcat 实 例 。 
/usr/servers/tomcat-chapter7/bin/startup.sh 
访问 如 下 URL 进 行 测试 。 
http://192.168.1.2:8080/info?type=basic&skuld=1 
http://192.168.1.2:8080/info?type=desc&skuld=1 


http://192.168.1.2:8080/info?type-other&ps3Id-1&brandId-1 


21.5.8 Nginx E 
编辑 /usrchapter7mnginx_chapter7.conf 配 置 文 件 。 


upstream backend 1 


server 127.0.0.1:8080 max fails-5 fail timeout-10s weight-1; 

check interval-3000 rise-1 fall=2 timeout-5000 type-tcp default dow 
-false; 

keepalive 100; 


server 1 
listen 80; 
server name item2015.jd.com item.jd.com d.3.cn; 


location ~ /backend/(.*) { 
#internal; 
keepalive timeout 3084 
keepalive requests 1000; 
FX keep-alive 
proxy http version 1.1; 
proxy set header Connection ""; 


rewrite /backend(/.*) $1 break; 

proxy pass request headers off; 

#more clear input headers Accept-Encoding; 
proxy next upstream error timeout; 

proxy pass http://backend; 


Ik Abserver namefRóE f item.jd.com (Amie) AMd.3.cn (A mS 
2H) 。 其 他 配置 可 以 参考 第 6 章 的 内 容 。 另 外 ， 实 际 生产 环境 要 把 
#internal 打 开 ， 表 示 只 有 本 Nginx 能 访问 。 

编辑 /usr/servers/nginx/conf/nginx.conf 配置 文件 。 

include /usr/chapter7/nginx_chapter7.conf; 

# 为 了 方便 测试 ， 注 释 挥 example.conf 


include /usr/chapter6/nginx_chapter6.conf; 


#lua 模 块 路 人 径 ， 其 中 ";;" 表 示 上 默认 搜索 路 和 低 ， 上 默认 到 /usr/servers/nginx 下 
找 


lua package path "/usr/chapter7/lualib/?.]ua;;"; #lua 模块 

lua package cpath "/usr/chapter7/lualib/?.50;;"; #ct# ER 

Lua 模 块 从 /usr/chapter7 目 录 加 载 ， 因 为 我 们 要 使 用 目 己 写 的 模块 。 
重启 Nginx。 

/usr/servers/nginx/sbin/nginx -s reload 

21.5.9 Si E hostsJll i 

192.168.1.2 item.jd.com 

192.168.1.2 item2015.jd.com 

192.168.1.2 d.3.cn 


ij [a] http://item.jd.com/backend/info?type-basic&skuld- 1 B[J n] 4 41] £5 FR 
21.6 Ai 9m Ez S SER 

分 为 三 部 分 实现 : 基础 组 件 、 商 品 介 绍 、 前 问 展 示 部 分 。 

21.6.1 ”基础 组 件 


首先 ， 进 行 基础 组 件 的 实现 ， 了 商品 介绍 和 前 端 展示 部 分 都 需要 读 取 
Redis 和 HTTP 服 务 ， 因 此 ， 可 以 抽取 公共 部 分 出 来 复 用 。 


7m 44 /usr/chapter7/lualib/item/common.lua{\fJ - 


local redis = require("resty.redis") 
local ngx log = ngx. log 
local ngx ERR = ngx.ERR 
local Tunetion close redis(red) 
it WOL rea Len 
return 
end 
~~ FE BOE Be (连接 池 实 现 ) 
local pool max idle time = 10000 --3z&fj 
local pool size = 100 -- 连 接 池 大 小 
local ok, err = redisset keepallve(pogol max idle time, pool size) 


if not ok then 
ngx .log(ngx ERR, “set redis keepallve error : ", ert) 
end 
end 


local function read redis(ip, port, keys) 


local red = redis:new() 

red:set timeout (1000) 

local ok, err = red:connect(ip, port) 
if not ok then 


ngx log(ngx ERR, "connect to redis error , err) 
return close redis (red) 

end 

local resp = nil 

if #keys == 1 then 
resp, err = red:get(keys[1]) 

else 
resp, err = red:mget (keys) 

end 

if not resp then 
ngx log(ngx ERR, “get redis content error ", err) 
return close redis (red) 

end 

-- 得 到 的 数据 为 空 处 理 

if resp -- ngx.null then 
resp - nil 

end 

close redis(red) 

return resp 

end 
locál function read Http (args) 
local resp = ngx.location.capture("/backend/info", { 


end 


method = ngx.HTTP GET, 
args = args 


)) 


if not resp then 
ngx log(ngx ERR, "request error") 
return 

end 

if resp.status ~= 200 then 
ngx log(ngx ERR, "request error, status 
return 

end 

return resp.body 


, 


resp.status) 


local MS= 1 
read redis = read redis, 
read http = read http 

} 


return M 


整个 馆 辑 和 第 6 章 类 似 。 只 是 read_redis 根 据 参数 keys 个 数 文 持 get 和 
mget. LUM, read redis(ip, port, {"key1"}), WHH get, rfjread redis(ip, 
port, ("key1", "key2"})， 则 调用 mget。 

21.6.2. faim dr ZA 

1. 核 心 代 码 


编辑 /usr/chapter7/desc.lua 代 人 码 。 


local common = require ("item.common") 
local read redis - common.read redis 
local read http - common.read http 
local ngx log - ngx.log 

local ngx ERR - ngx.ERR 

local ngx exit - ngx.exit 

local ngx print - ngx.print 

local ngx re match - ngx.re.match 
local ngx var - ngx.var 


local descKey = "di" .. skuId .. ":" 
local descInfoStr = read redis("127.0.0.1", 1114, {descKey}) 
if not descInfoStr then 
ngx log(ngx ERR, "redis not found desc info, back to http, skuld : ", 
skuId) 
descInfoStr = read http({type="desc", skuId = skuId]) 
end 
if not descInfoStr then 
ngx log(ngx ERR, "http not found basic info, skuId : ", skuld) 
return ngx exit(404) 
end 
ngx print ("showdesc (") 
ngx print (descInfoStr) 
gx preisE[") 
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外 ， 前 端 展示 使 用 JSONP 技 术 展 示 商 品 介绍 。 


2.Nginx 配 置 


编辑 /usr/chapter7/nginx_chapter7.conf 配置 文件 。 


location -^/desc/(Nd-*)S { 
if (Shost l= "d.3.cn") 4 
return 403; 
} 
default type application/x-javascript; 
charset utf-9; 
lua code cache ons 
set SskulId $1; 
content by lua file /usr/chapter7/desc.1lua; 


} 


因为 item.jd.com 和 d.3.cn 复 用 了 同一 个 配置 文件 ， 此 处 需要 限定 只 有 
d.3.cn 域 名 能 访问 ， 以 防止 恶意 访问 。 


重启 Nginx 后 ， 访 问 http://d.3.cn/desc/1 即 可 得 到 JSONP 结 果 。 


21.6.3 Hil Ying EAN 
1. 核 心 代 码 


编辑 /usr/chapter7/item.lua 代 体 。 

local common = require("item.common") 
local item = require(" item") 

local read redis = common.read redis 
local read. http = common.read http 
local cjson = require(" cjson") 

local cjson. decode = cjson.decode 

local ngx log = ngx.log 

local ngx ERR = ngx.ERR 


local ngx, exit = ngx.exit 


local ngx. print = ngx.print 
local ngx var = ngx.var 


local skuld = ngx var.skuld 


-- 获 取 基 本 信 AA 


local basicInfoKey = "p:" .. skuId .. ":" 
local basicInfoStr = read redis("127.0.0.1", 1112, (basicInfoKey]) 
if not basicInfoStr then 
ngx log(ngx ERR, "redis not found basic info, back to http, skuId : " 
SkuId) 
basicInfoStr = read http([type-"basic", skuId = skuId]) 
end 
if not basicInfoStr then 
ngx log(ngx ERR, "http not found basic info, skuId : ", skuId) 
return ngx exit(404) 
end 


local basicInfo - cjson decode (basicInfoStr) 
local ps3Id = basicInfo["ps3Id"] 
local brandId = basicInfo["brandId"] 


-- 获 取 其 他 信息 

local breadcrumbKey = "s:" .. ps3Id .. ":" 

local brandKey = "b:" .. brandId ..":" 

local otherInfo = readredis("127.0.0.1", 1116, {breadcrumbKey, brandKey)} 


or {} 
local breadcrumbStr = otherInfo[1] 
local brandStr = otherInfo[2] 
if breadcrumbStr then 


basicInfo["breadcrumb"] = cjson decode (breadcrumbStr) 
end 
if brandStr then 

basicInfo["brand"] = cjson decode (brandStr) 
end 


if not breadcrumbStr and not brandStr then 
ngx log(ngx ERR, "redis not found other info, back to http, skuId : " 
brandId) 
local otherInfoStr - read http((type-"other", ps3Id - ps3Id, brandId 
- brandId]) 
if not otherInfoStr then 
ngx log(ngx ERR, "http not found other info, skuId : ", skuId) 
else 
local otherInfo = cjson decode (otherInfoStr) 
basicInfo["breadcrumb"] = otherInfo["breadcrumb"] 
basicInfo["brand"] = otherInfo["brand"] 
end 
end 


local name = basicInfo["name"] 
--name to unicode 


r 


, 


basicInfo["unicodeName" | = item.utf8 to unicode(name) 
FFT AL, ERKE... 
basicInfo["moreName" | = item.trunc(name, 10) 
-初始 化 各 分 闫 的 URL 

item.init breadcrumb(basicInfo) 

-初始 化 扩展 属性 

item.init expand(basicInfo) 

-- 急 始 化 颜色 矿 码 
item.init color size(basicInfo) 

local template = require "resty.template" 
template.caching(true) 


template.render("item.html", basicInfo) 


整个 逻辑 分 为 四 部 分 : 获取 基本 信息 ， 根 据 基 本 信息 中 的 关联 关系 获 取 
其 他 信息 ， 人 初始 化 /格式 化 数据 ， 渔 染 模 板 。 


2.4] 45 A GER 


编辑 /usr/chapter7/lualib/item.lua 代 码 。 


local bit = require("bit") 

local utf8 = require("utf8") 

local cjson = require("cjson") 
löčäl json Geuconde = g]56n.B580eGd8 
local bit band = bit.band 

local Dit bor = blt.bor 

local Bre lent = BLU. Lemire 

local String format = string. ormat 
local string byte = string. byte 
local table concat = table.concat 


--utf8 fJ unicode 
local function. utf9 to unicode (str) 


if not str or str -- "" or str -- ngx.null then 
return nil 

end 

local Fes, seq, val = {fy 0, mal 


for i = 1, #str do 
local è = string byte(lsrtr, 1) 
if seq == 0 then 
if val then 
res[fres + 1] = string format("$04x", val) 
end 


seq = © « 0x80 and 1 or o < ÜxEÜ0 and 2 or e < OxFD and 3 or 


c < OxFS and 4 or --o < OxFC and 5 or c < OxFE and 6 or 0 
if seq -- 0 then 
ngx.log(ngx.ERR, 'invalid UTF-8 character sequence' 
"xi as TOSS ett) 
return str 
end 


val = bit band(c, 2 ^ (8 = seq) = d) 
else 


val bit bor(bit lshift(val, 6), bit band(c, Ox3F)) 
end 
seq = seq - l 
end 
if val then 
res(#res + 1] = string format ("t04x", val) 
end 
if #res == 0 then 
return str 
end 
return "\\u" .. table concat (res, "\\u") 
end 


--utf8 字符 串 截 取 
local function trunc(str, len) 
if not str then 
return nil 
end 


if utf8.len(str) » len then 
return utfS.sub(str, l, len) ws Tass" 
end 
return str 
end 


-- 初 始 化 面包 届 
local function init breadcrumb (info) 
local breadcrumb = info["breadcrumb"] 
if not breadcrumb then 
return 
end 


local pslId = breadcrumb[1] [1] 
local ps2Id breadcrumb[2][1] 
local ps3Id = breadcrumb[3][1] 


-- 此 处 应 该 根据 一 级 分 类 查找 url 

local pslUrl = "http://shouji.jd.com/" 

local ps2Url "http://channel.jd.com/shouji.html" 
local ps3Url "http://list.jd.com/list.html?cat=" 


" we PSAIG ws ^ aw DOSLO 
breadcrumb[1][3] = pslUrl 
breadcrumb[2][3] = ps2Url 
breadcrumb[3][3] = ps3Url 

end 
-- 初 始 化 扩展 属性 


local function init expand(info) 
local expands = info["expands"] 
if not expands then 
return 
end 
for , e in ipairs(expands) do 


if type(e[2]) == "table" then 
e[2] = table cóncatí(e[2], "s ") 
end 
end 
end 
-- 初 始 化 颜色 尺码 


local function init color size(info) 
local colorSize = info["colorSize"] 


--Bit& R3 JSON 串 

local colorSizeJson = cjson encode (colorSize) 
-- 颜 色 列表 〈 不 重复 ) 

local colorList = {} 

-- 尺 码 列表 不 重复 ) 


local sizeList = {} 


info["colorSizeJson"] = colorSizeJson 
info["colorList"] = colorList 
info["sizeList"] = sizeList 


local colorSet = {} 

local sizeSet = {} 

for , cz in ipairs(colorSize) do 
local color = ez["Color"] 
local size = cz["Size"] 


a pslld a 


r 


lf color and Golor ws "" and not colorSer[color] then 


colorLast[tcolofList + l1] = feoler = color, 
url = “hte sitter. 1d com/T cnez" Ekuld"] we ".banl") 
colorSet[color] = true 
end 
if size and size ~= "" and not sizeSet[size] then 
sizeList[#sizeList + 1] = {size = size, 
nel = “utrpi item: Ty mel GRUG] & "abre" 
sizeSet[size] = "" 
end 
end 
end 


Local HM = { 


utie to unicode = utf8 to unicode, 
Lrune = DEHNG; 

Lt Breage rinbh = INT Bresecnunb, 
init expand = init expand, 

Imit color size = init color size 


return M 
utf8_to_unicode [REZ M OCAS, HAEA x48. 
3. 模 板 HTML 片段 


编辑 /usr/chapter7/item.html 文 件 。 


var pageConfig = { 

compatible: true, 

product: { 
skuid: {7 skuld *), 
name: '{* unicodeName *}', 
skuidkey: 'AFC266E971535B664FC926D34E91C879', 
href: 'http://item,.jd.com/(* skuld *}.html', 
sro: '[* imgs[1] *}', 
Catt [1% psLIdM =}, 17 pIE *j,4* psala *1], 
brand: [* brandld *}, 
tips: false, 
pType: 1, 
venderId:0, 
asnhoplds'g', 


specialAttrs:["HYKHSP-Q","isDistributlon","l1sBaveYB","l1asSelfService-0","1 


sWeChatStock-0","packType","IsNewGoods","isCanUseDQ","isSupportCard","isC 
anUseJQ", "isOverseaPurchase-0","is7ToReturn-1","isCanVAT"], 

videoPath:'', 

desc: 'http://d.3.cn/desc/(* skuId *}' 


bi 
var warestatus = 1; 
($ if colorSizeJson then 4 var Colorize = {* cdorSizeJson *};{% 


end £) 


{* var *} 输 出 变量 ，{% code %} 写 代码 片段 。 
A) 


«div class="breadcrumb"> 
«strong» 
«a href-'(* breadcrumb[1][3] *}'>{* breadcrumb[1][2] *)«/a»«Étrong» 
<span> 
&nbsp; &gt; &nbsp; 
<a href-'(* breadcrumb[2][3] *}'>{* breadcrumb[2] [2] *}</a> 
&nbsp; &gt; &nbsp; 
<a href-'(* breadcrumb[3] [3] *}'>{* breadcrumb[3] [2] *}</a> 
&nbsp; &gt; &nbsp; 
</span> 
<span> 
(5$ if brand then 5} 
<a href-'http://www.jd.com/pinpai/(* ps3Id *}-{* brandId *}. 
html'>{* brand['name'] *}</a> 
&nbsp; &gt; &nbsp; 
($ end 3} 
<a href-'http://item.jd.com/(* skuId *}.html'>{* moreName *}</a> 
</span> 
</div> 


Ad Fr 4 


<div id="spec-nl" class-"jqzoom" onclick="window.open('http:// www.jd. 
com/bigimage.aspx?id={* skuId *}')" clstag-2"shangpin|keycount |product| 
spec-nl"> 
<img data-img="1" width="350" height="350" src-"http://imgl4. 
360buyimg.com/n1/{* imgs[1] *)" alt="{* name *}"/> 
</div> 
<div id="spec-list" clstag="shangpin|keycount| product |spec-n5"> 
<a href="jJavascript:;" class-"spec-control" id="spec-forward"></a> 
<a href-"javascript:;" class-"spec-control" id="spec-backward"></a> 
<div class-"spec-items"» 


<ul class="l1h"> 
(5$ for , img in ipairs(imgs) do $) 
<li><img class='img -hover' alt='{* name *}' src='http:// 
img14.360buyimg.com/n5/{* img * }' data -url='{* img *}' data  -img='1' 
width='50' height-'50'»«/li» 
(5$ end 5} 
</ul> 
</div> 
</div> 


颜色 矿 码 选择 


«div class="dt" > WHE: </div> 
<div class="dd"> 
i% for , color in ipairs(colorList) do %} 
<div class="item"><b></b><a href="{* color['url'] *}" title= 
"(* eglor['Goléz'] *}"S><i>{* aolos[*'eolor'] *}</1></a></div 
($ end $) 
</div> 
</div> 
<div id="choose-version" class-"li"» 
<div class="dt"> 选 择 版 本 : </div> 
<div class="dd"> 
{os for , size in ipairs(sizeList) do %} 
«div class="item"><b></b><a href="{* size['url'] *}" title= 
"(* size['size'] *}">{* size['size'] *}</a></div> 
($ end $) 
«/div» 
«/div» 


扩展 属性 


<ul id="parameter2" class="p-parameter-list"> 

<li title-'(* name *}'> 商 品名 称 : {* name *}</li> 

<li title='{* skuId *}'> 了 商品 编写: (* skuId *)«/li» 

{S$ if brand then 2) 

<li title-'(* brand["name"] *} fel: «a href-'http://www.jd.com/pinpai/(* 
ps3Id *}-{* brandId *).html' target-' blank'>{* brand["name"] *)«/a»«/li» 

($ end 5} 

{S$ if date then %} 

<li title-'(* date *}'> EXE: (* date *)«/1li» 

($ end $) 

($ if weight then %} 

<li title='{* weight x } 5> 商 品 毛重 ，{x weight *}</li> 

($ end %} 


($ for , e in pairs(expands) do 3} 
<li titles'(* e[2] *}'>{* e[1] *): {* e[2] *)«/1i» 
($ end £2) 

</ul> 


<table cellpadding="0" cellspacing="1" width="100%" border="0" class="Ptable"> 
[$ for group, pc in pairs (propCodes) do €) 
<tro<th class="tdTitle" colspan-"2"»(* group *}</th><tr> 
a for , wv 1n palrsipo) do *J 
V€Ltro«rd aoalasse"raTltle"»i* will] *)«/Ld»«tu»* y[2] *}</tdes/tr 
($ end $} 
($ end %} 
«/table» 


4.Nginx 配 置 


编辑 /usr/chapter7/nginx_chapter7.conf 配置 文件 。 


# 模 板 加 载 位 置 
set Stemplate root "/usr/chapter7"; 
location = OPEP hm] { 
it (shoe bes We Trt | Tm 5s) re Tin coms" 4 
return 403; 
} 
default type 'text/html'; 
Charset mLrI-8; 
lua code cache on; 
set $skuId $1; 
content by lua file /usr/chapter7/item. lua; 


) 
21.6.4 测试 


重 局 Nginx， 访 问 http:VWitem.jd.com/1217499.html 可 得 到 啊 应 内 容 ， 本 例 
和 京东 的 商品 详情 页 的 数据 有 些 出 入 ， 因 为 输出 的 页 面 做 了 一 些 精简 。 


21.6.5 ”优化 


1.local cache 


对 于 数据 一 致 性 要 求 不 敏感 ， 而 且 数 据 量 很 少 的 其 他 信息 ， 完 全 可 以 在 
本 地 绥 存 全 量 。 而 且 可 以 设置 5~10 分 钟 的 过 期 时 间 ， 这 是 完全 可 以 接受 
的 。 因 此 ， 可 以 使 用 


lua_shared_dict 全 局 内 存 进 行 绥 存 。 有 基体 馆 辑 可 以 参考 如 下 代码 。 


local nginx shared = ngx.shared 
--item.jd.conm 配置 的 缓存 
local local cache = nginx shared.item local cache 
local function cache get: (key) 

if not local cache then 

return nil 

end 

return local cáche:get (key) 
end 


local function cache set(key, value) 
if not local cache then 
return nil 
end 
return local cache:set(key, value, 10 * 60) --10 分 钟 
end 


local function get(ip, port, keys) 
local tables = {} 
local fetchKeys = (] 
local resp = nil 
local status = STATUS OK 
--ül tables 是 个 map， 则 #tables 拿 不 到 长 度 


local has value = false 
-- FETE ALAS BAF 
for i, key in ipairs(keys) do 
local value = cache get (key) 
if value then 
if value == "" then 
value = nil 
end 


tables[key] = value 
has value = true 
else 
fetchKeys[#fetchKeys + 1] = key 
end 
end 


-如 果 还 有 数据 没 获取 ， 则 从 Redis 获取 
if #fetchKeys > 0 then 
if #fetchKeys == 1 then 
Status, resp = redis get(ip, port, fetchKeys[1]) 


else 
Status, resp = redis mget.(ip, port, fetohkeys) 
end 
lf status == STATUS OK then 
for i = 1, #fetchKeys do 
local key = fetchKeys[i] 
local value = nil 
if #fetchKeys == 1 then 
value = resp 
else 
value = get data(resp, 1) 
end 
tables[key] = value 
has value = true 
cache set(key, value or "", tel) 
end 
end 
end 
--W RN BAF ESI, MARUN ok 
if has value and status == STATUS NOT FOUND then 
Status = STATUS OK 
end 
return status, tables 
end 


2.nginx proxy cache 


为 了 防止 恶意 刷 页 面 或 热点 页 面 访问 频 老 ， 可 以 使 用 nginx proxy. cache 
做 页 面 缓存 。 当 然 ， 还 可 以 选择 Apache Traffic Server. Squid. Varnish 
等 做 内 容 级 存 。 


nginx.conf 绥 存 配置 


proxy buffering on; 
proxy buffer size 8k; 
proxy buffers 256 8k; 
proxy busy buffers size 64k; 
proxy temp file write size 64k; 
proxy temp path /usr/servers/nginx/proxy temp; 
# 设 置 Web RAK AMA cache_one， 内 存 缓存 空间 大 小 为 200MB，1 分 钟 没有 被 访问 的 
# 内 容 目 动 清除 ， 硬 盘 绥 存 空 间 大 小 为 30GB。 
proxy cache path /usr/servers/nginx/proxy cache levels-1:2 
keys zone-cache item:200m inactive=lm max size=30g; 


增加 proxy_cache 的 配置 ， 可 以 通过 挂 载 一 块 内 存 作 为 缓存 的 存储 空间 。 
更 多 配置 规则 请 参考 
http://nginx.org/cn/docs/http/ngx http proxy module.html. 


nginx_chapter7.conffic E 
与 server 指 令 配置 同 级 。 


HE EH HH EEE HE 测试 时 使 用 的 动态 请 求 

map Shost $item dynamic { 
default E E. 
item2015.]d.cora VIS S 


即 如 果 域 名 为 item2015.jd.com， 则 item_dynamic=1。 


location ~ ^/(NXd-).htmls { 
set $skuId $1; 
if (Shost !~ "“(item|item2015)\.jd\.com$") { 
return 403; 


expires 3m; 

proxy cache cache item; 

proxy cache key Suri; 

proxy cache bypass $item dynamic; 

proxy no cache $item dynamic; 

proxy cache valid 200 301 3m; 

proxy cache use stale updating error timeout invalid header 
http 500 http 502 http 503 http 504; 

proxy pass request headers off; 

proxy set header Host $host; 

# 文 持 keep-alive 

proxy http version 1.1; 

proxy set header Connection ""; 

proxy pass http://127.0.0.1/proxy/S$skuId.html; 

add header X-Cache 'S$upstream cache status'; 


location ~ ^/proxy/(Nd-*).html$ { 
allow 127.0.0.1; 
deny all; 
keepalive timeout 30s; 
keepalive requests 1000; 
default type 'text/html'; 
charset utrf-9; 
lua code cache on; 


set S$SskuId $1; 
content by lua file /usr/chapter7/item.lua; 


expires: 设置 啊 应 缓存 头 信息 ， 此 处 是 3min。 将 会 得 到 Cache- 
Control:max-age=180# 28 {LExpires:Sat, 28 Feb 2015 10:01:10 GMT HH 


proxy cache: 使 用 之 前 在 nginx.conf 中 配置 的 cache_item 绥 存 。 


proxy cache key: ”缓存 key 为 URI， 不 包括 Host 和 参数 ， 这 样 不 管用 户 
怎么 通过 在 URL 上 加 随机 数 都 是 可 以 缓存 的 。 


proxy cache bypass: “Nginx 不 从 缓存 谈 取 啊 应 的 条 件 ， 可 以 与 多 个 。 
如 果 存 在 一 个 字符 串 条 件 且 不 是 “0”， 那 么 Nginx 就 不 会 从 缓存 中 读 取 响 
应 内 容 。 此 处 ， 如 果 使 用 的 host 为 item2015.jd.com， 那 么 就 不 会 从 缓存 
该 取 啊 应 内 容 。 


proxy no cache: Nginx 不 将 啊 应 内 容 写 入 绥 存 的 条 件 ， 可 以 写 多 个 。 
如 果 存 在 一 个 字符 串 条 件 且 不 是 “0”， 那 么 Nginx 就 不 会 将 响应 内 容 写 入 
绥 存 。 此 处 ， 如 果 使 用 的 host 为 item2015.jdcom， 那 么 就 不 会 将 啊 应 内 
BG BF 


proxy cache valid: 为 不 同 的 啊 应 状态 但 设置 不 同 的 缓存 时 间 ， 些 处 
对 200、301 绥 存 3min。 


proxy cache use stale: ”什么 情况 下 使 用 不 新 鲜 《〈 过 期 ) 的 缓存 内 容 。 
配置 和 proxy_next_upstream 内 容 类 似 。 此 处 配置 了 如 果 出 现 连接 出 错 、 
超时 、404、500 等 问题 ， 都 会 使 用 不 新 鲜 的 缓存 内 容 。 此 外 我 们 配置 了 
updating 配 置 ， 通 过 配置 它 可 以 在 Nginx 更 新 绥 存 〈 其 中 一 个 Worker 进 
程 ) 时 《其 他 的 Worker 进 程 ) 使 用 不 新 鲜 的 缓存 进 行 啊 应 ， 这 样 可 以 减 
少 回 源 的 数量 。 


proxy pass request headers: 不 需要 请 求 凑 ， 所 以 不 传递 。 


proxy http version 1.1 和 proxy_set header Connection "": 文 持 
keepalive. 


add header X-Cache '$upstream cache status': ”添加 是 否 绥 存 命中 的 
响应 头 。 比 如 命中 HIT、 不 命中 MISS、 不 走 缓存 BYPASS。 或 者 命中 会 
看 到 X-Cache:， HIT 啊 应 头 。 

allow/deny: 人 允许 和 拒绝 访问 的 卫 列 表 ， 此 处 只 允许 本 机 访问 。 


keepalive timeout 30s 和 keepalive_requests 1000: x 4rkeepalive. 


nginx_chapter7.confip S8 Zr Wo B . 


location /purge { 


allow eS 
allow 152.168 0.0716: 
deny all; 


proxy Cache purge caches Item harg url; 


} 


只 人 允许 内 网 访问 。 访 问 如 http://item.jd.com/purge?url=/11.html。 如 果 看 到 
Successful purge， 则 说 明 绥 存 存 在 并 已 经 清理 了 。 


修改 item.lua 代 码 

-- 添 加 Last-Modified， 用 于 响应 304 缓 存 
ngx.header["Last-Modified"| = ngx.http time(ngx.now()) 
local template = require "resty.template" 
template.caching(true) 


template.render("item.html", basicInfo) 


在 演 染 模板 前 设置 Last-Modified， 用 于 判断 内 容 是 否 变更 ， 默 认 Nginx 
通过 等 于 去 比较 ， 也 可 以 通过 配置 让 modified_since 指 令 来 文 持 小 于 等 
于 比较 。 如 果 请 求 头发 送 的 If-Modified-Since 和 Last-Modified 匹 配 ， 则 返 
回 304 啊 应 ， 即 内 容 疫 有 变更 ， 使 用 本 地 缓存。 此 处 可 能 看 到 了 Last- 
Modified 是 当前 时 间 ， 不 是 商品 信息 变更 时 间 。 商 品 信 息 鹤 更 时 间 由 商 
品 信息 变更 时 间 、 面 包 屑 变更 时 间 和 品牌 变更 时 间 三 者 诀 定 ， 因 此 ， 实 
际 应 用 时 应 访 取 三 者 中 最 晚 的 时 间 。 还 有 一 个 问题 惑 是 模板 内 容 可 能 变 
了 ， 但 是 ， 障 品 信 息 没 有 变 ， 此 时 使 用 Last-Modified 得 到 的 内 容 可 能 是 
错误 的 ， 所 以 可 以 通过 使 用 ETag 技 术 来 解决 这 个 问题 ，ETag 可 以 认为 
是 内 容 的 一 个 摘要 ， 内 容 变 更 后 摘要 束 变 了 。 


3.GZIPH: 45 


修改 nginx.conf 配 置 文件 。 


quus On 

gzip min length 4k; 

gzip burTers 416k; 

gzip hitp version 1.0; 

gzip proxied any; 

HH vine squid 的 情况 下 要 加 此 参数 ， 人 否则 squid 上 不 缓存 gzip 文件 

gzip comp level 27 

gzip types text/plainapplication/x-javascript text/css 
application/xml; 

gzip vary on; 
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开 及 中 实际 处 理 ， 无 法 做 到 面面俱到 。 


本 章 内 容 节 选 目 笔者 的 开源 电子 书 《 跟 我 学 OpenResty (Nginx*Lua) Ff 
发 》 第 7 章 ， 相 关 基 础 知识 可 扫 二 维 码 进行 参考 。 
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经 历 618、 双 11 多 次 大 考 ， 保 证 大 规模 电 商 系统 高 流量 、 
高 频次 的 葵花 宝典 。 
徐 春 俊 ， 京 东 集 团 副 总 裁 / 京 东 保 险 业务 负责 人 


集中 火力 讲述 作者 构建 京东 大 流量 系统 用 到 的 高 可 用 和 
高 并 发 原则 。 

马 松 ， 京 东 集 团 副 总 裁 /京东 商城 研发 体系 负责 人 
EO SUIS com 
RR. 

月 军 ， 京 东 集 团 副 总 圾 /京东 X 事 业 部 负责 人 
有 高 可 用 和 高 并 发 总 体 原 则 、 关 键 技术 、 实 战 经 验 的 总 
结 ， 更 有 曾经 踩 过 的 坑 。 
杨 建 ， 京 东 保 险 高 级 研发 总 监 
教 你 如 何 构建 高 并 发 、 大 流量 系统 方 能 经 受 起 亿 级 线 上 
用 户 流量 的 真实 考验 。 
王 晓 钟 ， 京 东 商 城 高 级 研发 总 监 


从 前 端 到 DB 底层 设计 ， 本 书 无 不 精细 前 述 。 
尚 塞 ， 京 东 商 城 研发 总 监 


站 在 一 个 新 高 度 思考 网 站 后 台 技 术 ， 从 应 用 级 缓存 到 前 
端 缓存 ， 从 SOA 到 闭环 。 
HES, RRB RE 


京东 多 年 架构 升级 及 大 促 备 战 的 高 质量 总 结 。 
ER, 京东 商城 研发 总 监 


将 系统 设计 的 深奥 套路 讲 得 如 此 清晰 ， 难 能 可 贵 。 
GEE, FREA 





一 | 策划 编辑 ， 张 春雨 
责任 编辑 ， 徐 津 平 
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ila 
王 春 明 ， 京 东 商 城 研发 总 监 


将 技术 应 用 于 业务 、 理 论 应 用 于 实践 的 名 著 。 
何 小 锋 京东 商城 基础 平台 首席 架构 师 


地 表 至 强 ， 天 大 福利 。 
ELA, SURG SUR RESSORT 


流量 并 发 暴 增 与 系统 架构 变革 的 十 字 路 口 ， 怖 要 它 。 
鲍 永 成 ， 京 东 商 城 容 占 引 擎 平台 负责 人 


一 个 亿 级 流量 网 站 和 一 个 中 小 型 网 站 的 技术 架构 难 
度 截 然 不 同 o 
陈锋 ， 京 东 云 平台 事业 部 架构 师 


这 种 指导 手册 式 的 技术 书籍 ， 值 得 精读 和 细 品 。 
赵云 霄 京东 商城 API 网 关 负责 人 


一 本 互联 网 高 并 发 染 构 设计 的 百科 全 书 。 
李 苯 敬 ， 京 东 商 城 交 易 平台 架构 师 


从 各 角度 剖析 系统 设计 的 优化 要 点 和 注意 事项 。 
赵 辉 ， 京 东 商 城 交易 平台 架构 师 


循序 渐进 地 将 一 系列 复杂 问题 阐述 得 清晰 、 易 读 。 
尤 凤 遇 ， 示 东 商 城 交易 平台 架构 师 


实战 出 真理 ， 选 择 这 本 书 ， 靠 谱 。 
刘 峻 桦 ， 京 东 商 城 网 站 平台 染 构 师 
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4.5.1 throttleFirst/throttleLast 





4.5.2 throttleWithTimeout 

































































